網(wǎng)絡(luò)資源獲取方法及裝置

基本信息

申請(qǐng)?zhí)?/td> CN202110714037.0 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113343152A 公開(kāi)（公告）日 2021-09-03
申請(qǐng)公布號(hào) CN113343152A 申請(qǐng)公布日 2021-09-03
分類號(hào) G06F16/958（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 何少華 申請(qǐng)（專利權(quán)）人 咪咕數(shù)字傳媒有限公司
代理機(jī)構(gòu) 北京市浩天知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 趙婭
地址 310018浙江省杭州市西湖區(qū)西溪銀座1幢1層101室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種網(wǎng)絡(luò)資源獲取方法及裝置，方法包括：獲取用戶輸入的起始頁(yè)面地址，對(duì)起始頁(yè)面進(jìn)行頁(yè)面請(qǐng)求，得到對(duì)應(yīng)的起始頁(yè)面源碼信息；對(duì)起始頁(yè)面源碼信息進(jìn)行解析處理，提取二級(jí)頁(yè)面地址集合；啟動(dòng)代理服務(wù)，創(chuàng)建瀏覽器代理依次請(qǐng)求二級(jí)頁(yè)面地址集合中的二級(jí)頁(yè)面地址，加載對(duì)應(yīng)的二級(jí)頁(yè)面；利用代理服務(wù)的har參數(shù)獲取頁(yè)面請(qǐng)求中的信息實(shí)體；對(duì)信息實(shí)體進(jìn)行篩選處理，確實(shí)目標(biāo)網(wǎng)絡(luò)資源的下載地址，保存至地址隊(duì)列中；重復(fù)上述操作，直至遍歷二級(jí)頁(yè)面地址集合中全部的二級(jí)頁(yè)面地址；根據(jù)地址隊(duì)列包含的目標(biāo)網(wǎng)絡(luò)資源的下載地址，下載對(duì)應(yīng)的目標(biāo)網(wǎng)絡(luò)資源。能夠批量下載外部動(dòng)態(tài)的目標(biāo)網(wǎng)絡(luò)資源，無(wú)需如現(xiàn)有下載工具需滿足各種限制，更靈活。