基于事件驅(qū)動(dòng)模型的分布式互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)與方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN201910599035.4 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN110347899A | 公開(kāi)（公告）日 | 2021-06-22 |
| 申請(qǐng)公布號(hào) | CN110347899A | 申請(qǐng)公布日 | 2021-06-22 |
| 分類(lèi)號(hào) | G06F16/951;G06F16/9535;G06F9/48 | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 孔逸飛;段毅飛;王亮亮;薛彥文;劉博;李漁 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 北京熵簡(jiǎn)科技有限公司 |
| 代理機(jī)構(gòu) | 上海智晟知識(shí)產(chǎn)權(quán)代理事務(wù)所（特殊普通合伙） | 代理人 | 劉萬(wàn)磊 |
| 地址 | 100080 北京市海淀區(qū)中關(guān)村大街甲38號(hào)1號(hào)樓B座3層121號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了一種基于事件驅(qū)動(dòng)模型的分布式互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)及方法，涉及網(wǎng)絡(luò)搜索技術(shù)領(lǐng)域，系統(tǒng)包括控制臺(tái)模塊、數(shù)據(jù)采集引擎模塊、數(shù)據(jù)存儲(chǔ)模塊、日志服務(wù)模塊，并運(yùn)行在容器編排引擎之上；控制臺(tái)模塊對(duì)數(shù)據(jù)采集和數(shù)據(jù)存儲(chǔ)進(jìn)行配置；數(shù)據(jù)采集引擎模塊根據(jù)控制臺(tái)模塊的配置完成數(shù)據(jù)采集；數(shù)據(jù)存儲(chǔ)模塊與數(shù)據(jù)采集引擎模塊連接，根據(jù)控制臺(tái)模塊的配置完成數(shù)據(jù)存儲(chǔ)；控制臺(tái)模塊、數(shù)據(jù)采集引擎模塊、數(shù)據(jù)存儲(chǔ)模塊和日志服務(wù)模塊都各包含一項(xiàng)或多項(xiàng)服務(wù)；服務(wù)互相解耦，以獨(dú)立Docker鏡像的形式部署于容器編排引擎之上。本發(fā)明具備快速地動(dòng)態(tài)擴(kuò)容和縮容的能力，支持日采集TB量級(jí)別海量數(shù)據(jù)的需求，并支持同時(shí)對(duì)上千種不同來(lái)源的網(wǎng)站進(jìn)行數(shù)據(jù)采集。 |
