通用的分布式采集系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201710298794.8 申請(qǐng)日 -
公開（公告）號(hào) CN107145556B 公開（公告）日 2020-12-29
申請(qǐng)公布號(hào) CN107145556B 申請(qǐng)公布日 2020-12-29
分類號(hào) G06F16/951;G06F16/958;G06F16/27;G06F16/33;G06F9/50 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 胡淦;鄭中華 申請(qǐng)（專利權(quán)）人 安徽博約信息科技股份有限公司
代理機(jī)構(gòu) 合肥律眾知識(shí)產(chǎn)權(quán)代理有限公司 代理人 白凱園
地址 230000 安徽省合肥市高新區(qū)黃山路602號(hào)合肥國(guó)家大學(xué)科技園A509室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種通用分分布式采集系統(tǒng)，包括種子倉(cāng)庫(kù)、任務(wù)調(diào)度模塊、數(shù)據(jù)抓取模塊、正文頁(yè)倉(cāng)庫(kù)；種子倉(cāng)庫(kù)用于存放需求站點(diǎn)的URL并設(shè)定信息源類別和采集時(shí)間間隔；任務(wù)調(diào)度模塊用于協(xié)調(diào)各采集節(jié)點(diǎn)的任務(wù)負(fù)載量；數(shù)據(jù)抓取模塊用于對(duì)分配過來(lái)的采集任務(wù)進(jìn)行信息抓取，分為列表頁(yè)抓取和正文頁(yè)抓?。蝗蝿?wù)調(diào)度模塊和數(shù)據(jù)抓取模塊均包括服務(wù)端和客戶端，并且都采用了分布式通訊框架；正文頁(yè)倉(cāng)庫(kù)是用來(lái)存儲(chǔ)解析出來(lái)的正文網(wǎng)頁(yè)鏈接，為數(shù)據(jù)抓取模塊中的正文頁(yè)抓取提供站點(diǎn)入口。