一種網(wǎng)頁(yè)爬蟲(chóng)異步加密數(shù)據(jù)采集方法

基本信息

申請(qǐng)?zhí)?/td> CN201911369510.5 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113051453A 公開(kāi)（公告）日 2021-06-29
申請(qǐng)公布號(hào) CN113051453A 申請(qǐng)公布日 2021-06-29
分類號(hào) G06F16/951（2019.01）I;G06F21/60（2013.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 孫香娟;周彥其;姜波;李鑫 申請(qǐng)（專利權(quán)）人 中文在線集團(tuán)股份有限公司
代理機(jī)構(gòu) 北京市盛峰律師事務(wù)所 代理人 于國(guó)強(qiáng)
地址 100007北京市東城區(qū)東總布胡同58號(hào)天潤(rùn)財(cái)富中心14層1401單元
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種網(wǎng)頁(yè)爬蟲(chóng)異步加密數(shù)據(jù)采集方法，所述方法包括S1、獲取網(wǎng)絡(luò)請(qǐng)求；S2、根據(jù)所述網(wǎng)絡(luò)請(qǐng)求對(duì)應(yīng)返回網(wǎng)址數(shù)據(jù)；S3、對(duì)所述網(wǎng)址數(shù)據(jù)進(jìn)行分析，對(duì)分析結(jié)果進(jìn)行關(guān)鍵字搜索找到待解密的JavaScript文件；S4、采用JavaScript方法特征對(duì)所述待解密的JavaScript文件進(jìn)行逆向分析，獲取JavaScript文件的加密算法，并分析加密算法的實(shí)現(xiàn)方式；S5、模擬所述加密算法的實(shí)現(xiàn)方式，并通過(guò)模擬的加密算法的實(shí)現(xiàn)方式，對(duì)待加密的JavaScript文件進(jìn)行加密，并將加密后的JavaScript文件存儲(chǔ)在相應(yīng)的網(wǎng)址數(shù)據(jù)中。優(yōu)點(diǎn)是：該方法實(shí)現(xiàn)了破解的效果，并得到了可以提高采集數(shù)據(jù)準(zhǔn)確性和加快采集速度的結(jié)果。