高訪問情況下的爬蟲封禁方法

基本信息

申請?zhí)?/td> CN201610259811.2 申請日 -
公開（公告）號 CN105827619B 公開（公告）日 2019-02-15
申請公布號 CN105827619B 申請公布日 2019-02-15
分類號 H04L29/06;H04L29/08;G06F21/56;G06F16/953 分類 電通信技術(shù);
發(fā)明人 李興濤;王儒敬;王偉 申請（專利權(quán)）人 無錫中科富創(chuàng)科技孵化有限公司
代理機(jī)構(gòu) 無錫市大為專利商標(biāo)事務(wù)所（普通合伙） 代理人 無錫中科富農(nóng)物聯(lián)科技有限公司;安徽中科物聯(lián)科技有限公司;江蘇物聯(lián)網(wǎng)研究發(fā)展中心
地址 214135 江蘇省無錫市新區(qū)菱湖大道200號江蘇物聯(lián)網(wǎng)研究與發(fā)展中心C座3樓
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種高訪問情況下的爬蟲封禁方法，用于在高訪問量情況下快速的判斷一個訪問者是否在訪問黑名單中并且實施封禁，并且有效地維護(hù)名單庫的正確性。本發(fā)明涉及以下步驟：提取請求的ip或者id信息；名單庫預(yù)先導(dǎo)入到內(nèi)存中，在高訪問量的情況下只有通過內(nèi)存查找才能滿足低響應(yīng)時間的要求，通過在內(nèi)存的名單庫中查找判斷id是否在黑名單中；對于是黑名單的拒絕訪問；考慮到名單庫會不斷變動，而且在訪問量太大的時候應(yīng)用會部署到不同服務(wù)器中，對于怎樣保證不同服務(wù)器中名單庫的一致性，增加了服務(wù)模塊定時進(jìn)行名單一致性維護(hù)。本發(fā)明結(jié)合了共享內(nèi)存使用名單庫和增加服務(wù)附件模塊的方法，減少了爬取判定的響應(yīng)時間。