一種支持斷點續(xù)傳的數(shù)據(jù)抽取方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN201811076270.5 申請日 -
公開（公告）號 CN109271435B 公開（公告）日 2022-03-04
申請公布號 CN109271435B 申請公布日 2022-03-04
分類號 G06F16/25（2019.01）I;H04L67/101（2022.01）I;H04L67/1074（2022.01）I 分類 計算；推算；計數(shù);
發(fā)明人 陳曉偉;劉春憶 申請（專利權(quán)）人 南威軟件股份有限公司
代理機構(gòu) 北京天盾知識產(chǎn)權(quán)代理有限公司 代理人 張彩珍
地址 362000福建省泉州市豐澤區(qū)豐海路南威大廈2號樓
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于互聯(lián)網(wǎng)信息處理技術領域，公開了一種支持斷點續(xù)傳的數(shù)據(jù)抽取方法及系統(tǒng)，數(shù)據(jù)抽取系統(tǒng)包括配置數(shù)據(jù)庫模塊、設置模塊、抽取數(shù)據(jù)模塊、記錄和保存模塊；數(shù)據(jù)抽取方法首先根據(jù)抽取的數(shù)據(jù)來源信息配置抽取數(shù)據(jù)庫，選擇增量字段；然后設置開始時間、間隔時間、每次抽取最大記錄數(shù)、每次調(diào)度分頁抽取記錄數(shù)，抽取數(shù)據(jù)；隨后記錄并保存流程調(diào)度次數(shù)、流程總抽取記錄數(shù)、流程上次抽取記錄數(shù)、當前調(diào)度抽取完成記錄數(shù)、已完成分頁數(shù)、總分頁數(shù)，服務器故障后再次抽取從之前已完成的下一頁開始抽取。本發(fā)明的數(shù)據(jù)抽取方法可避免服務器負載過大，確保服務器的穩(wěn)定性，不會重復抽取已完成的數(shù)據(jù)，提高了數(shù)據(jù)抽取的效率。