代理服務器及互聯(lián)網(wǎng)數(shù)據(jù)的采集方法

基本信息

申請?zhí)?/td> CN201711396097.2 申請日 -
公開（公告）號 CN108108440A 公開（公告）日 2018-06-01
申請公布號 CN108108440A 申請公布日 2018-06-01
分類號 G06F17/30 分類 計算；推算；計數(shù);
發(fā)明人 龔權 申請（專利權）人 北京慧數(shù)科技有限公司
代理機構 北京兆君聯(lián)合知識產權代理事務所（普通合伙） 代理人 北京慧數(shù)科技有限公司
地址 100193 北京市海淀區(qū)東北旺西路中關村軟件園2期華勝天成大廈2層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種代理服務器及互聯(lián)網(wǎng)數(shù)據(jù)的采集方法，包括一種互聯(lián)網(wǎng)數(shù)據(jù)的采集方法，包括接收客戶端發(fā)送的向目標服務器的待采集站點采集數(shù)據(jù)的采集請求；解析所述采集請求并得到待采集站點的URL地址；模擬瀏覽器登錄所述URL地址并執(zhí)行Javascript腳本渲染以得到所述待采集站點的數(shù)據(jù)流；將所述數(shù)據(jù)流作為回復數(shù)據(jù)包發(fā)送給所述客戶端。本發(fā)明能夠模擬瀏覽器登錄采用Javascript腳本渲染的網(wǎng)站并進行數(shù)據(jù)采集，然后由代理服務器將采集到的數(shù)據(jù)發(fā)送給采集軟件，無需改變傳統(tǒng)采集軟件的源程序，即可對傳統(tǒng)采集軟件無法采集的網(wǎng)站內容進行采集，提高了數(shù)據(jù)采集效率，降低了人力物力。