一種基于腳本的web服務(wù)分頁(yè)數(shù)據(jù)采集系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201911080867.1 申請(qǐng)日 -
公開（公告）號(hào) CN111221815B 公開（公告）日 2021-07-27
申請(qǐng)公布號(hào) CN111221815B 申請(qǐng)公布日 2021-07-27
分類號(hào) G06F16/22（2019.01）I;G06F16/2458（2019.01）I;G06F16/25（2019.01）I;G06F16/27（2019.01）I;G06F9/54（2006.01）N 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 干際陽(yáng);徐斌;李毅 申請(qǐng)（專利權(quán)）人 南京萊斯網(wǎng)信技術(shù)研究院有限公司
代理機(jī)構(gòu) 江蘇圣典律師事務(wù)所 代理人 胡建華;于瀚文
地址 210000江蘇省南京市秦淮區(qū)永豐大道36號(hào)天安數(shù)碼城05幢
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于腳本的web服務(wù)分頁(yè)數(shù)據(jù)采集系統(tǒng)，包括如下步驟：步驟1，所述數(shù)據(jù)平臺(tái)基于用戶錄入的目錄信息和庫(kù)表信息分別生成目錄樹和至少一個(gè)庫(kù)表；步驟2，所述數(shù)據(jù)平臺(tái)基于用戶輸入的字段信息生成至少一個(gè)字段以及至少一個(gè)主鍵字段配置內(nèi)容；步驟3，所述數(shù)據(jù)平臺(tái)基于用戶輸入生成至少一個(gè)節(jié)點(diǎn)信息、至少一個(gè)數(shù)據(jù)源信息和至少一個(gè)解析腳本；步驟4，所述數(shù)據(jù)平臺(tái)基于用戶輸入生成至少一個(gè)采集任務(wù)配置內(nèi)容和至少一個(gè)采集任務(wù)調(diào)度；步驟5，生成采集規(guī)則，執(zhí)行采集任務(wù)調(diào)度，完成分頁(yè)數(shù)據(jù)采集，數(shù)據(jù)存儲(chǔ)到MongoDB數(shù)據(jù)庫(kù)。