數據采集方法、裝置、計算機設備及存儲介質

基本信息

申請?zhí)?/td> CN202010173517.6 申請日 -
公開（公告）號 CN111405033A 公開（公告）日 2020-07-10
申請公布號 CN111405033A 申請公布日 2020-07-10
分類號 H04L29/08(2006.01)I 分類 -
發(fā)明人 王金輝;冼東亮;李柏;李如先;莊智恒 申請（專利權）人 深圳前海環(huán)融聯易信息科技服務有限公司
代理機構 深圳市精英專利事務所 代理人 深圳前海環(huán)融聯易信息科技服務有限公司
地址 518000廣東省深圳市前海深港合作區(qū)前灣一路1號A棟201室（入駐深圳市前海商務秘書有限公司）
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及數據采集方法、裝置、計算機設備及存儲介質，該方法包括設置過濾規(guī)則并設置代理應用程序的IP和端口，以得到中間代理應用程序；獲取業(yè)務請求；判斷過濾規(guī)則是否是過濾代理請求的請求頭信息；若是，則根據業(yè)務請求通過中間代理應用程序請求對應的目標網站，以得到指定鏈接的數據包；通過指定鏈接的數據包過濾請求頭信息并進行數據采集，以得到目標數據；將目標數據反饋至終端；若不是，則根據業(yè)務需求通過中間代理應用程序采集對應的目標網站的相關數據，以得到響應數據；根據過濾規(guī)則進行響應數據的過濾，以得到目標數據，并執(zhí)行將目標數據反饋至終端。本發(fā)明實現高效采集數據，節(jié)省分析網站的時間成本，也可以節(jié)省設備資源。??