高訪問情況下的爬蟲封禁方法

基本信息

申請?zhí)?/td> CN201610259811.2 申請日 -
公開（公告）號 CN105827619B 公開（公告）日 2019-02-15
申請公布號 CN105827619B 申請公布日 2019-02-15
分類號 H04L29/06;H04L29/08;G06F21/56;G06F16/953 分類 電通信技術;
發(fā)明人 李興濤;王儒敬;王偉 申請（專利權）人 安徽中科物聯科技有限公司
代理機構 無錫市大為專利商標事務所（普通合伙） 代理人 無錫中科富農物聯科技有限公司;安徽中科物聯科技有限公司;江蘇物聯網研究發(fā)展中心
地址 214135 江蘇省無錫市新區(qū)菱湖大道200號江蘇物聯網研究與發(fā)展中心C座3樓
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種高訪問情況下的爬蟲封禁方法，用于在高訪問量情況下快速的判斷一個訪問者是否在訪問黑名單中并且實施封禁，并且有效地維護名單庫的正確性。本發(fā)明涉及以下步驟：提取請求的ip或者id信息；名單庫預先導入到內存中，在高訪問量的情況下只有通過內存查找才能滿足低響應時間的要求，通過在內存的名單庫中查找判斷id是否在黑名單中；對于是黑名單的拒絕訪問；考慮到名單庫會不斷變動，而且在訪問量太大的時候應用會部署到不同服務器中，對于怎樣保證不同服務器中名單庫的一致性，增加了服務模塊定時進行名單一致性維護。本發(fā)明結合了共享內存使用名單庫和增加服務附件模塊的方法，減少了爬取判定的響應時間。