基于數(shù)據(jù)湖的異構(gòu)數(shù)據(jù)源集成方法及裝置
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010809326.4 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN111966750B | 公開(kāi)（公告）日 | 2022-01-25 |
| 申請(qǐng)公布號(hào) | CN111966750B | 申請(qǐng)公布日 | 2022-01-25 |
| 分類(lèi)號(hào) | G06F16/27（2019.01）I;G06F16/25（2019.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 翟士丹 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 北京海致科技集團(tuán)有限公司 |
| 代理機(jī)構(gòu) | 北京棘龍知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 謝靜 |
| 地址 | 100083 北京市海淀區(qū)學(xué)院路甲5號(hào)2幢平房B-1011 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了基于數(shù)據(jù)湖的異構(gòu)數(shù)據(jù)源集成方法及裝置，其方法包括如下步驟：a、根據(jù)用戶(hù)調(diào)用寫(xiě)數(shù)據(jù)接口的信息，確定本次寫(xiě)請(qǐng)求的操作標(biāo)示、數(shù)據(jù)、時(shí)間戳，其中操作標(biāo)示包含追加、更新、刪除三種類(lèi)型，時(shí)間戳為寫(xiě)請(qǐng)求達(dá)到的時(shí)間，將以上信息追加寫(xiě)入到數(shù)據(jù)湖中的一個(gè)特定文件內(nèi)；b、將上一步寫(xiě)入到特定文件內(nèi)的數(shù)據(jù)，結(jié)合操作標(biāo)示及時(shí)間戳做數(shù)據(jù)合并處理，得到最終的結(jié)果數(shù)據(jù)。本發(fā)明解決了現(xiàn)有數(shù)據(jù)湖數(shù)據(jù)集成技術(shù)，無(wú)法支持?jǐn)?shù)據(jù)更新操作，不能將數(shù)據(jù)湖的數(shù)據(jù)和原始數(shù)據(jù)保持一致，不能有效解決大數(shù)據(jù)集群大量小文件導(dǎo)致查詢(xún)性能低效等問(wèn)題。 |
