基于數(shù)據(jù)湖的異構(gòu)數(shù)據(jù)源集成方法及裝置

基本信息

申請(qǐng)?zhí)?/td> CN202010809326.4 申請(qǐng)日 -
公開（公告）號(hào) CN111966750A 公開（公告）日 2020-11-20
申請(qǐng)公布號(hào) CN111966750A 申請(qǐng)公布日 2020-11-20
分類號(hào) G06F16/27;G06F16/25 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 翟士丹 申請(qǐng)（專利權(quán)）人 北京海致科技集團(tuán)有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100083 北京市海淀區(qū)學(xué)院路甲5號(hào)2幢平房B-1011
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了基于數(shù)據(jù)湖的異構(gòu)數(shù)據(jù)源集成方法及裝置，其方法包括如下步驟：a、根據(jù)用戶調(diào)用寫數(shù)據(jù)接口的信息，確定本次寫請(qǐng)求的操作標(biāo)示、數(shù)據(jù)、時(shí)間戳，其中操作標(biāo)示包含追加、更新、刪除三種類型，時(shí)間戳為寫請(qǐng)求達(dá)到的時(shí)間，將以上信息追加寫入到數(shù)據(jù)湖中的一個(gè)特定文件內(nèi)；b、將上一步寫入到特定文件內(nèi)的數(shù)據(jù)，結(jié)合操作標(biāo)示及時(shí)間戳做數(shù)據(jù)合并處理，得到最終的結(jié)果數(shù)據(jù)。本發(fā)明解決了現(xiàn)有數(shù)據(jù)湖數(shù)據(jù)集成技術(shù)，無(wú)法支持?jǐn)?shù)據(jù)更新操作，不能將數(shù)據(jù)湖的數(shù)據(jù)和原始數(shù)據(jù)保持一致，不能有效解決大數(shù)據(jù)集群大量小文件導(dǎo)致查詢性能低效等問(wèn)題。