信息采集系統(tǒng)

基本信息

申請?zhí)?/td> CN201810283352.0 申請日 -
公開(公告)號 CN108549678A 公開(公告)日 2018-09-18
申請公布號 CN108549678A 申請公布日 2018-09-18
分類號 G06F17/30 分類 計算;推算;計數(shù);
發(fā)明人 上官育松;付小東;孫濤;張金紅 申請(專利權(quán))人 北京今朝在線科技有限公司
代理機構(gòu) 北京華仲龍騰專利代理事務所(普通合伙) 代理人 北京今朝在線科技有限公司
地址 102400 北京市房山區(qū)良鄉(xiāng)長虹西路翠柳東街1號-1081
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種信息采集系統(tǒng),包括采集任務添加模塊和采集爬蟲模塊;采集任務添加模塊和采集爬蟲模塊均與數(shù)據(jù)庫進行數(shù)據(jù)交互;采集任務添加模塊包括任務管理子模塊;任務管理子模塊,用于添加多項采集任務信息,并將添加的多項采集任務信息上傳至數(shù)據(jù)庫;采集爬蟲模塊包括列表采集子模塊;列表采集子模塊,用于實時檢索數(shù)據(jù)庫,由數(shù)據(jù)庫中獲取每項采集任務信息,并采用分布式爬蟲技術(shù)根據(jù)每項采集任務信息采集相應的目的信息,并將采集到的目的信息上傳至數(shù)據(jù)庫中進行存儲。其實現(xiàn)了多項采集任務的并行執(zhí)行,其相對于傳統(tǒng)的爬蟲信息采集單線程執(zhí)行有效提高了信息采集效率。