文件數(shù)據(jù)源入庫(kù)解析接入方法

基本信息

申請(qǐng)?zhí)?/td> CN202110367783.7 申請(qǐng)日 -
公開(kāi)(公告)號(hào) CN113111108A 公開(kāi)(公告)日 2021-07-13
申請(qǐng)公布號(hào) CN113111108A 申請(qǐng)公布日 2021-07-13
分類(lèi)號(hào) G06F16/25(2019.01)I;G06F16/27(2019.01)I 分類(lèi) 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 周陽(yáng);陸文斌;何文江;廖文緒;鐘凱 申請(qǐng)(專(zhuān)利權(quán))人 創(chuàng)意信息技術(shù)股份有限公司
代理機(jī)構(gòu) 成都金英專(zhuān)利代理事務(wù)所(普通合伙) 代理人 袁英
地址 610000四川省成都市青羊區(qū)萬(wàn)和路99號(hào)麗陽(yáng)天下7-9室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種文件數(shù)據(jù)源入庫(kù)解析接入方法、裝置、設(shè)備及存儲(chǔ)介質(zhì),該方法包括獲取待接入數(shù)據(jù)文件,構(gòu)建設(shè)計(jì)器和執(zhí)行器,以使設(shè)計(jì)器和執(zhí)行器滿足待接入數(shù)據(jù)文件的文件解析入庫(kù)及文件保留不入庫(kù);一方面,利用設(shè)計(jì)器,根據(jù)待接入數(shù)據(jù)配置接入信息和處理信息;另一方面,利用執(zhí)行器,根據(jù)所述配置接入信息和處理信息對(duì)待接入數(shù)據(jù)文件進(jìn)行數(shù)據(jù)讀取、數(shù)據(jù)處理和數(shù)據(jù)寫(xiě)入。本發(fā)明所提供的方法采用了設(shè)計(jì)器與執(zhí)行器分離,數(shù)據(jù)獲取與數(shù)據(jù)入庫(kù)分離,再加上Kafka消息中間件的方式進(jìn)行實(shí)現(xiàn)。旨在解決現(xiàn)有技術(shù)中存在的在面臨的業(yè)務(wù)場(chǎng)景較多,數(shù)據(jù)來(lái)源的方式種類(lèi)均未知,數(shù)據(jù)接入時(shí)可能存在數(shù)據(jù)量反復(fù)變化等情況時(shí),數(shù)據(jù)接入效率低依舊不能很好解決的技術(shù)問(wèn)題。