代理服務器及互聯(lián)網(wǎng)數(shù)據(jù)的采集方法

基本信息

申請?zhí)?/td> CN201711396097.2 申請日 -
公開(公告)號 CN108108440A 公開(公告)日 2018-06-01
申請公布號 CN108108440A 申請公布日 2018-06-01
分類號 G06F17/30 分類 計算;推算;計數(shù);
發(fā)明人 龔權 申請(專利權)人 北京慧數(shù)科技有限公司
代理機構 北京兆君聯(lián)合知識產權代理事務所(普通合伙) 代理人 北京慧數(shù)科技有限公司
地址 100193 北京市海淀區(qū)東北旺西路中關村軟件園2期華勝天成大廈2層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種代理服務器及互聯(lián)網(wǎng)數(shù)據(jù)的采集方法,包括一種互聯(lián)網(wǎng)數(shù)據(jù)的采集方法,包括接收客戶端發(fā)送的向目標服務器的待采集站點采集數(shù)據(jù)的采集請求;解析所述采集請求并得到待采集站點的URL地址;模擬瀏覽器登錄所述URL地址并執(zhí)行Javascript腳本渲染以得到所述待采集站點的數(shù)據(jù)流;將所述數(shù)據(jù)流作為回復數(shù)據(jù)包發(fā)送給所述客戶端。本發(fā)明能夠模擬瀏覽器登錄采用Javascript腳本渲染的網(wǎng)站并進行數(shù)據(jù)采集,然后由代理服務器將采集到的數(shù)據(jù)發(fā)送給采集軟件,無需改變傳統(tǒng)采集軟件的源程序,即可對傳統(tǒng)采集軟件無法采集的網(wǎng)站內容進行采集,提高了數(shù)據(jù)采集效率,降低了人力物力。