一種網(wǎng)絡(luò)惡意爬蟲識別方法、系統(tǒng)、終端及存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202010678053.4 申請日 -
公開（公告）號 CN111859069B 公開（公告）日 2021-10-15
申請公布號 CN111859069B 申請公布日 2021-10-15
分類號 G06F16/951（2019.01）I;G06K9/62（2006.01）I;G06N20/00（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 王廣清;方鐵城;申彥龍;劉穎 申請（專利權(quán)）人 北京市燃?xì)饧瘓F(tuán)有限責(zé)任公司
代理機(jī)構(gòu) 北京天方智力知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 路遠(yuǎn)
地址 100035北京市西城區(qū)西直門南小街22號
法律狀態(tài) -

摘要

摘要 本申請所提供的一種網(wǎng)絡(luò)惡意爬蟲識別方法、系統(tǒng)、終端及存儲介質(zhì)，所述方法包括：獲取待檢測網(wǎng)絡(luò)地址及待檢測網(wǎng)絡(luò)地址對應(yīng)的用戶訪問信息；根據(jù)所述用戶訪問信息提取訪問源地址及訪問特征；以訪問源地址作為分組進(jìn)行類別聚合，提取預(yù)設(shè)訪問時間段內(nèi)的特定訪問源地址的訪問特征，并利用DBSCAN算法訓(xùn)練無監(jiān)督聚類機(jī)器學(xué)習(xí)模型，進(jìn)行異常爬取賬單識別；通過人工判定方式對異常爬取賬單進(jìn)行惡意賬單爬蟲識別；獲取標(biāo)記的惡意賬單爬蟲的訪問源地址及訪問特征，并利用XGBoost算法訓(xùn)練有監(jiān)督機(jī)器學(xué)習(xí)模型，進(jìn)行惡意賬單爬蟲的訪問源地址識別；從而實現(xiàn)相同行為的訪問源地址會自動進(jìn)行惡意爬蟲識別。