網(wǎng)頁篩選方法及裝置

基本信息

申請?zhí)?/td> CN201310053601.4 申請日 -
公開（公告）號 CN103116638B 公開（公告）日 2017-02-08
申請公布號 CN103116638B 申請公布日 2017-02-08
分類號 G06F17/30(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 張恒;崔世起;楊青 申請（專利權(quán)）人 人民搜索網(wǎng)絡(luò)股份公司
代理機構(gòu) 北京集佳知識產(chǎn)權(quán)代理有限公司 代理人 王寶筠
地址 100026 北京市朝陽區(qū)金臺西路2號[4-1]15幢3層370室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種網(wǎng)頁篩選方法及裝置。該方法包括：抓取預(yù)設(shè)種子網(wǎng)頁；獲取預(yù)設(shè)種子網(wǎng)頁中所包含的URL信息；計算URL信息對應(yīng)的網(wǎng)頁質(zhì)量分數(shù)；按照預(yù)設(shè)網(wǎng)絡(luò)地址信息，將URL信息劃分到相應(yīng)的候選集合中；從每一候選集合中篩選出數(shù)量不超過相應(yīng)預(yù)設(shè)壓力配額的URL信息，其中，篩選出的URL信息對應(yīng)的網(wǎng)頁質(zhì)量分數(shù)不低于相應(yīng)候選集合中任意剩余URL信息對應(yīng)的網(wǎng)頁質(zhì)量分數(shù)，預(yù)設(shè)壓力配額為依據(jù)網(wǎng)絡(luò)地址所對應(yīng)的抓取壓力值確定出；將篩選出的URL信息對應(yīng)的網(wǎng)頁作為目標抓取網(wǎng)頁。通過利用本方案，實現(xiàn)了在保證網(wǎng)頁質(zhì)量的前提下，降低網(wǎng)頁抓取失敗風(fēng)險或站點封禁風(fēng)險，進而提高抓取網(wǎng)頁的成功率的目的。