一種網(wǎng)絡(luò)數(shù)據(jù)采集方法、裝置、計算機設(shè)備及存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202110169027.3 申請日 -
公開（公告）號 CN112818201A 公開（公告）日 2021-05-18
申請公布號 CN112818201A 申請公布日 2021-05-18
分類號 G06F16/951;G06F16/958 分類 計算；推算；計數(shù);
發(fā)明人 龔劍;徐楨虎;唐弋松;占欽 申請（專利權(quán)）人 四川封面?zhèn)髅接邢挢?zé)任公司
代理機構(gòu) 成都頂峰專利事務(wù)所（普通合伙） 代理人 楊國瑞
地址 610000 四川省成都市錦江區(qū)紅星路二段70號1棟8樓A區(qū)
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及計算機網(wǎng)絡(luò)技術(shù)領(lǐng)域，公開了一種網(wǎng)絡(luò)數(shù)據(jù)采集方法、裝置、計算機設(shè)備及存儲介質(zhì)。通過本發(fā)明創(chuàng)造，提供了一種基于模擬用戶行為工具Se l n ium的網(wǎng)絡(luò)數(shù)據(jù)采集方案，即可以在獲取待執(zhí)行抓取任務(wù)后，應(yīng)用模擬用戶行為工具Se l n ium依次執(zhí)行排序的抓取任務(wù)，然后解析抓取的網(wǎng)頁內(nèi)容，得到可存放的結(jié)構(gòu)化數(shù)據(jù)，從而可通過模擬真實用戶行為繞過目標服務(wù)器的用戶行為檢測，拿到真實的數(shù)據(jù)，不但可以提升采集效率和質(zhì)量，降低維護成本，還可以很好的隱藏自身的行為，具有很強的隱蔽性，而且不用詳細分析網(wǎng)頁接口與頁面渲染，具有高便利性和通用性。