一種眾包網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的檢測(cè)方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201610737578.4 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN106326447A 公開(kāi)（公告）日 2017-01-11
申請(qǐng)公布號(hào) CN106326447A 申請(qǐng)公布日 2017-01-11
分類(lèi)號(hào) G06F17/30(2006.01)I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 周灝;董超 申請(qǐng)（專(zhuān)利權(quán)）人 北京量科邦信息技術(shù)有限公司
代理機(jī)構(gòu) 北京和信華成知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 胡劍輝
地址 100080 北京市海淀區(qū)丹棱街甲1號(hào)互聯(lián)網(wǎng)金融中心11層1102
法律狀態(tài) -

摘要

摘要 一種眾包網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的檢測(cè)方法,其能夠確保眾包網(wǎng)絡(luò)爬蟲(chóng)抓取的數(shù)據(jù)是真實(shí)可靠的。這種眾包網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的檢測(cè)方法，將服務(wù)器作為爬蟲(chóng)客戶(hù)端抓取結(jié)果的檢驗(yàn)中心，爬蟲(chóng)客戶(hù)端把抓取的頁(yè)面內(nèi)容上傳到檢驗(yàn)中心，檢驗(yàn)中心將多個(gè)爬蟲(chóng)客戶(hù)端上傳的內(nèi)容進(jìn)行對(duì)比，如果結(jié)果相同則給各個(gè)爬蟲(chóng)客戶(hù)端加信用分；如果結(jié)果不相同，則再下發(fā)一次任務(wù)，重新檢驗(yàn)這幾個(gè)爬蟲(chóng)客戶(hù)端，以辨別優(yōu)劣，而后進(jìn)行相應(yīng)的信用分加減；信用分表示爬蟲(chóng)客戶(hù)端的可靠程度，優(yōu)先選擇信用分高的爬蟲(chóng)客戶(hù)端來(lái)完成抓取任務(wù)。還提供了一種眾包網(wǎng)絡(luò)爬蟲(chóng)抓取數(shù)據(jù)的檢測(cè)系統(tǒng)。