基于大數(shù)據(jù)的網(wǎng)絡(luò)數(shù)據(jù)抓取方法
基本信息
| 申請?zhí)?/td> | CN202010187194.6 | 申請日 | - |
| 公開（公告）號 | CN111414524A | 公開（公告）日 | 2020-07-14 |
| 申請公布號 | CN111414524A | 申請公布日 | 2020-07-14 |
| 分類號 | G06F16/951(2019.01)I | 分類 | - |
| 發(fā)明人 | 張俊杰;耿雁萍 | 申請（專利權(quán)）人 | 安徽火藍數(shù)據(jù)有限公司 |
| 代理機構(gòu) | 北京風雅頌專利代理有限公司 | 代理人 | 王剛 |
| 地址 | 241000安徽省蕪湖市鳩江區(qū)國泰路2號中國電信集團蕪湖云計算中心4樓(申報承諾) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提供了一種基于大數(shù)據(jù)的網(wǎng)絡(luò)數(shù)據(jù)抓取方法，包括將監(jiān)聽終端配置為代理服務器；目標APP通過所述代理服務器向目標服務器發(fā)送通信數(shù)據(jù)；所述代理服務器模擬所述目標APP向所述目標服務器發(fā)送通信數(shù)據(jù)；所述代理服務器根據(jù)大數(shù)據(jù)分析獲得目標字段；配置抓取規(guī)則，所述代理服務器根據(jù)所述目標字段抓取所述目標服務器發(fā)送的數(shù)據(jù)。本發(fā)明通過將監(jiān)聽終端配置為代理服務器，代理服務器模擬所述目標APP向所述目標服務器發(fā)送通信數(shù)據(jù)，在通過大數(shù)據(jù)分析或者目標字段之后，配置抓取規(guī)則，所述代理服務器根據(jù)所述目標字段抓取所述目標服務器發(fā)送的數(shù)據(jù)。從而能夠自動抓取網(wǎng)絡(luò)新聞熱點，無需人工進行配置，高效化、智能化。?? |
