基于大數(shù)據(jù)的數(shù)據(jù)自動(dòng)抽取系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201810603056.4 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN109101521A 公開(kāi)（公告）日 2018-12-28
申請(qǐng)公布號(hào) CN109101521A 申請(qǐng)公布日 2018-12-28
分類號(hào) G06F17/30;G06F11/30 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 陳華;郁東風(fēng);吳途;毛晨杰 申請(qǐng)（專利權(quán)）人 江蘇開(kāi)拓信息與系統(tǒng)有限公司
代理機(jī)構(gòu) 無(wú)錫市匯誠(chéng)永信專利代理事務(wù)所（普通合伙） 代理人 張歡勇
地址 214000 江蘇省無(wú)錫市濱湖區(qū)蠡湖商務(wù)園9號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種基于大數(shù)據(jù)的數(shù)據(jù)自動(dòng)抽取系統(tǒng)，包括用于存儲(chǔ)待抽取數(shù)據(jù)的數(shù)據(jù)源服務(wù)器；用于提供可視化配置界面的客戶端；包括有配置存儲(chǔ)模塊、全量抽取模塊、增量抓取模塊、數(shù)據(jù)對(duì)比模塊；配置存儲(chǔ)模塊的數(shù)據(jù)抽取服務(wù)器用于記錄在抽取過(guò)程中將相關(guān)信息以參數(shù)的形式傳遞并記錄在日志信息表中的日志存儲(chǔ)模；用于存儲(chǔ)抽取之后的結(jié)果數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)服務(wù)器。采用上述技術(shù)方案后，配置存儲(chǔ)模塊實(shí)現(xiàn)了一次配置可以多次使用。日志存儲(chǔ)模解決了無(wú)法自動(dòng)記錄日志的問(wèn)題。數(shù)據(jù)對(duì)比模塊保證了抽取完成后能夠自動(dòng)驗(yàn)證數(shù)據(jù)量的準(zhǔn)確性。