代理服務器及互聯(lián)網(wǎng)數(shù)據(jù)的采集方法
基本信息
申請?zhí)?/td> | CN201711396097.2 | 申請日 | - |
公開(公告)號 | CN108108440A | 公開(公告)日 | 2018-06-01 |
申請公布號 | CN108108440A | 申請公布日 | 2018-06-01 |
分類號 | G06F17/30 | 分類 | 計算;推算;計數(shù); |
發(fā)明人 | 龔權 | 申請(專利權)人 | 北京慧數(shù)科技有限公司 |
代理機構 | 北京兆君聯(lián)合知識產權代理事務所(普通合伙) | 代理人 | 北京慧數(shù)科技有限公司 |
地址 | 100193 北京市海淀區(qū)東北旺西路中關村軟件園2期華勝天成大廈2層 | ||
法律狀態(tài) | - |
摘要
摘要 | 本發(fā)明公開了一種代理服務器及互聯(lián)網(wǎng)數(shù)據(jù)的采集方法,包括一種互聯(lián)網(wǎng)數(shù)據(jù)的采集方法,包括接收客戶端發(fā)送的向目標服務器的待采集站點采集數(shù)據(jù)的采集請求;解析所述采集請求并得到待采集站點的URL地址;模擬瀏覽器登錄所述URL地址并執(zhí)行Javascript腳本渲染以得到所述待采集站點的數(shù)據(jù)流;將所述數(shù)據(jù)流作為回復數(shù)據(jù)包發(fā)送給所述客戶端。本發(fā)明能夠模擬瀏覽器登錄采用Javascript腳本渲染的網(wǎng)站并進行數(shù)據(jù)采集,然后由代理服務器將采集到的數(shù)據(jù)發(fā)送給采集軟件,無需改變傳統(tǒng)采集軟件的源程序,即可對傳統(tǒng)采集軟件無法采集的網(wǎng)站內容進行采集,提高了數(shù)據(jù)采集效率,降低了人力物力。 |
