信息采集系統(tǒng)

基本信息

申請?zhí)?/td> CN201810283352.0 申請日 -
公開（公告）號 CN108549678A 公開（公告）日 2018-09-18
申請公布號 CN108549678A 申請公布日 2018-09-18
分類號 G06F17/30 分類 計算；推算；計數(shù);
發(fā)明人 上官育松;付小東;孫濤;張金紅 申請（專利權(quán)）人 北京今朝在線科技有限公司
代理機構(gòu) 北京華仲龍騰專利代理事務所（普通合伙） 代理人 北京今朝在線科技有限公司
地址 102400 北京市房山區(qū)良鄉(xiāng)長虹西路翠柳東街1號-1081
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種信息采集系統(tǒng)，包括采集任務添加模塊和采集爬蟲模塊；采集任務添加模塊和采集爬蟲模塊均與數(shù)據(jù)庫進行數(shù)據(jù)交互；采集任務添加模塊包括任務管理子模塊；任務管理子模塊，用于添加多項采集任務信息，并將添加的多項采集任務信息上傳至數(shù)據(jù)庫；采集爬蟲模塊包括列表采集子模塊；列表采集子模塊，用于實時檢索數(shù)據(jù)庫，由數(shù)據(jù)庫中獲取每項采集任務信息，并采用分布式爬蟲技術(shù)根據(jù)每項采集任務信息采集相應的目的信息，并將采集到的目的信息上傳至數(shù)據(jù)庫中進行存儲。其實現(xiàn)了多項采集任務的并行執(zhí)行，其相對于傳統(tǒng)的爬蟲信息采集單線程執(zhí)行有效提高了信息采集效率。