一種基于全量分片和增量日志解析的數(shù)據(jù)交換方法及系統(tǒng)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010176947.3 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN111339103A | 公開(kāi)（公告）日 | 2020-06-26 |
| 申請(qǐng)公布號(hào) | CN111339103A | 申請(qǐng)公布日 | 2020-06-26 |
| 分類(lèi)號(hào) | G06F16/22(2019.01)I | 分類(lèi) | - |
| 發(fā)明人 | 王小玄;范浩哲;王小陽(yáng);雷俊鴿;林軍軍 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 河南安冉云網(wǎng)絡(luò)科技有限公司 |
| 代理機(jī)構(gòu) | 北京聯(lián)瑞聯(lián)豐知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 河南安冉云網(wǎng)絡(luò)科技有限公司 |
| 地址 | 450000河南省鄭州市金水區(qū)楊金路199號(hào)新科技市場(chǎng)5號(hào)樓5樓 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，公開(kāi)了一種基于全量分片和增量日志解析的數(shù)據(jù)交換方法，包括：步驟1、根據(jù)數(shù)據(jù)庫(kù)表主鍵進(jìn)行數(shù)據(jù)分片，將分片后的信息存入消息隊(duì)列，以得到全量分片信息；步驟2.根據(jù)預(yù)設(shè)的作業(yè)映射關(guān)系，依據(jù)消息隊(duì)列中的全量分片信息，分批從數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)并寫(xiě)入目標(biāo)端；步驟3.根據(jù)全量記錄的寫(xiě)入時(shí)間點(diǎn)進(jìn)行實(shí)時(shí)的數(shù)據(jù)庫(kù)增量日志解析并實(shí)時(shí)保存增量數(shù)據(jù)到消息隊(duì)列；步驟4：上次增量數(shù)據(jù)寫(xiě)入時(shí)記錄的位置點(diǎn)從消息隊(duì)列中獲取對(duì)應(yīng)的增量數(shù)據(jù)寫(xiě)入目標(biāo)端。源表結(jié)構(gòu)不需要修改即可實(shí)現(xiàn)數(shù)據(jù)的分批以及增量獲取，避免了線上業(yè)務(wù)暫?；蚍?wù)宕機(jī)，在保證源數(shù)據(jù)的自身格式的同時(shí)，還能夠?qū)崟r(shí)的將源數(shù)據(jù)發(fā)送到目的端，提供及時(shí)的數(shù)據(jù)服務(wù)。?? |
