信息采集系統(tǒng)
基本信息
申請?zhí)?/td> | CN201810283352.0 | 申請日 | - |
公開(公告)號 | CN108549678A | 公開(公告)日 | 2018-09-18 |
申請公布號 | CN108549678A | 申請公布日 | 2018-09-18 |
分類號 | G06F17/30 | 分類 | 計算;推算;計數(shù); |
發(fā)明人 | 上官育松;付小東;孫濤;張金紅 | 申請(專利權(quán))人 | 北京今朝在線科技有限公司 |
代理機構(gòu) | 北京華仲龍騰專利代理事務所(普通合伙) | 代理人 | 北京今朝在線科技有限公司 |
地址 | 102400 北京市房山區(qū)良鄉(xiāng)長虹西路翠柳東街1號-1081 | ||
法律狀態(tài) | - |
摘要
摘要 | 本發(fā)明提供了一種信息采集系統(tǒng),包括采集任務添加模塊和采集爬蟲模塊;采集任務添加模塊和采集爬蟲模塊均與數(shù)據(jù)庫進行數(shù)據(jù)交互;采集任務添加模塊包括任務管理子模塊;任務管理子模塊,用于添加多項采集任務信息,并將添加的多項采集任務信息上傳至數(shù)據(jù)庫;采集爬蟲模塊包括列表采集子模塊;列表采集子模塊,用于實時檢索數(shù)據(jù)庫,由數(shù)據(jù)庫中獲取每項采集任務信息,并采用分布式爬蟲技術(shù)根據(jù)每項采集任務信息采集相應的目的信息,并將采集到的目的信息上傳至數(shù)據(jù)庫中進行存儲。其實現(xiàn)了多項采集任務的并行執(zhí)行,其相對于傳統(tǒng)的爬蟲信息采集單線程執(zhí)行有效提高了信息采集效率。 |
