一種完整采集網(wǎng)頁信息的方法和系統(tǒng)

基本信息

申請?zhí)?/td> CN201310102584.9 申請日 -
公開（公告）號 CN103186670A 公開（公告）日 2013-07-03
申請公布號 CN103186670A 申請公布日 2013-07-03
分類號 G06F17/30(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 全小飛;柳香 申請（專利權）人 北京中金云網(wǎng)科技有限公司
代理機構 北京三聚陽光知識產(chǎn)權代理有限公司 代理人 中金數(shù)據(jù)系統(tǒng)有限公司;北京中金云網(wǎng)科技有限公司
地址 100176 北京市大興區(qū)北京經(jīng)濟技術開發(fā)區(qū)博興八路1號
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種完整采集網(wǎng)頁信息的方法和系統(tǒng)，包括如下步驟：①在安裝有FireBug以及Cookies?Manager的瀏覽器中模擬用戶瀏覽瀏覽器的行為并保存Cookies信息、所有URL請求及服務器返回的第一響應結果；②后臺運行的瀏覽器模擬用戶瀏覽瀏覽器的行為并保存第二響應結果；③將第一響應結果中存在的第二響應結果沒有的網(wǎng)頁信息補充到第二響應結果中；④后臺運行的瀏覽器根據(jù)補充后的第二響應結果進行網(wǎng)頁信息的采集，并保存。本發(fā)明所述的完整采集網(wǎng)頁信息的方法和系統(tǒng)，后臺運行的瀏覽器根據(jù)補充后的第二響應結果可完成所有網(wǎng)頁信息的采集，且不占用瀏覽器的資源，從而解決了現(xiàn)有技術中動態(tài)網(wǎng)頁采集方法無法獲取AJAX動態(tài)生成的鏈接頁面的問題。