一種數(shù)據(jù)處理方法及裝置

基本信息

申請?zhí)?/td> CN201710790718.9 申請日 -
公開（公告）號 CN107748752B 公開（公告）日 2021-07-06
申請公布號 CN107748752B 申請公布日 2021-07-06
分類號 G06F16/23;G06F16/25 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 李紅偉 申請（專利權(quán)）人 新智云數(shù)據(jù)服務(wù)有限公司
代理機(jī)構(gòu) 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 代理人 黃志華
地址 200000 上海市楊浦區(qū)政立路421號1001室
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置，為了解決現(xiàn)有大數(shù)據(jù)平臺在進(jìn)行數(shù)據(jù)處理時(shí)，無法保證數(shù)據(jù)真實(shí)性的問題，該方法為，通過指定工具從指定源系統(tǒng)抽取并加載初始數(shù)據(jù)集，并將加載后的初始數(shù)據(jù)集劃分為若干初始數(shù)據(jù)子集，分批判斷當(dāng)前初始數(shù)據(jù)子集是否需要修改初始數(shù)據(jù)條，針對待修改的初始數(shù)據(jù)子集執(zhí)行增量合并操作，獲得相應(yīng)目標(biāo)數(shù)據(jù)子集，采用預(yù)設(shè)的業(yè)務(wù)邏輯規(guī)則，為獲得的各個(gè)目標(biāo)數(shù)據(jù)子集包含的若干目標(biāo)數(shù)據(jù)條建立關(guān)聯(lián)關(guān)系，這樣，指定大數(shù)據(jù)平臺通過指定工具能與指定源系統(tǒng)實(shí)現(xiàn)銜接，而且，即便是數(shù)據(jù)加載到指定大數(shù)據(jù)平臺后被修改，依然能通過增量合并操作保證數(shù)據(jù)一致性，進(jìn)而保障了數(shù)據(jù)的真實(shí)性，提升了用戶體驗(yàn)。