基于大數(shù)據(jù)的網(wǎng)絡(luò)數(shù)據(jù)抓取方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202010187194.6 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN111414524A | 公開（公告）日 | 2020-07-14 |
| 申請(qǐng)公布號(hào) | CN111414524A | 申請(qǐng)公布日 | 2020-07-14 |
| 分類號(hào) | G06F16/951(2019.01)I | 分類 | - |
| 發(fā)明人 | 張俊杰;耿雁萍 | 申請(qǐng)（專利權(quán)）人 | 安徽火藍(lán)數(shù)據(jù)有限公司 |
| 代理機(jī)構(gòu) | 北京風(fēng)雅頌專利代理有限公司 | 代理人 | 王剛 |
| 地址 | 241000安徽省蕪湖市鳩江區(qū)國泰路2號(hào)中國電信集團(tuán)蕪湖云計(jì)算中心4樓(申報(bào)承諾) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提供了一種基于大數(shù)據(jù)的網(wǎng)絡(luò)數(shù)據(jù)抓取方法，包括將監(jiān)聽終端配置為代理服務(wù)器；目標(biāo)APP通過所述代理服務(wù)器向目標(biāo)服務(wù)器發(fā)送通信數(shù)據(jù)；所述代理服務(wù)器模擬所述目標(biāo)APP向所述目標(biāo)服務(wù)器發(fā)送通信數(shù)據(jù)；所述代理服務(wù)器根據(jù)大數(shù)據(jù)分析獲得目標(biāo)字段；配置抓取規(guī)則，所述代理服務(wù)器根據(jù)所述目標(biāo)字段抓取所述目標(biāo)服務(wù)器發(fā)送的數(shù)據(jù)。本發(fā)明通過將監(jiān)聽終端配置為代理服務(wù)器，代理服務(wù)器模擬所述目標(biāo)APP向所述目標(biāo)服務(wù)器發(fā)送通信數(shù)據(jù)，在通過大數(shù)據(jù)分析或者目標(biāo)字段之后，配置抓取規(guī)則，所述代理服務(wù)器根據(jù)所述目標(biāo)字段抓取所述目標(biāo)服務(wù)器發(fā)送的數(shù)據(jù)。從而能夠自動(dòng)抓取網(wǎng)絡(luò)新聞熱點(diǎn)，無需人工進(jìn)行配置，高效化、智能化。?? |
