一種基于半監(jiān)督的反爬蟲系統(tǒng)及設(shè)計方法

基本信息

申請?zhí)?/td> CN202010655940.X 申請日 -
公開（公告）號 CN111914905B 公開（公告）日 2021-07-20
申請公布號 CN111914905B 申請公布日 2021-07-20
分類號 G06K9/62;G06F21/56;G06N20/00 分類 計算；推算；計數(shù);
發(fā)明人 簡軍;高熙;蔡月月 申請（專利權(quán)）人 北京人人云圖信息技術(shù)有限公司
代理機(jī)構(gòu) 北京中創(chuàng)云知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 肖佳
地址 100191 北京市海淀區(qū)北四環(huán)中路238號柏彥大廈11層1106室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于半監(jiān)督的反爬蟲系統(tǒng)及設(shè)計方法，包括衍生特征向量，無監(jiān)督聚類成簇，專家規(guī)則評估，強(qiáng)化規(guī)則，機(jī)器學(xué)習(xí)，輸出識別爬蟲概率結(jié)果；通過無監(jiān)督算法對請求行為進(jìn)行聚類得到不同的簇；通過專家規(guī)則對不同的簇行為進(jìn)行爬蟲概率計算；對于概率高于某個閾值的行為添加到規(guī)則系統(tǒng)里；對于概率在某個閾值范圍的行為作為維度送進(jìn)機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行訓(xùn)練和預(yù)測，能夠解決爬蟲行為多變的問題并提高防護(hù)性能，降低誤殺風(fēng)險。