一種基于云計算的數(shù)據(jù)采集分析系統(tǒng)及方法

基本信息

申請?zhí)?/td> CN201910797160.6 申請日 -
公開（公告）號 CN110704403A 公開（公告）日 2020-01-17
申請公布號 CN110704403A 申請公布日 2020-01-17
分類號 G06F16/215;G06F16/906;G06F16/951;G06F16/9535 分類 計算；推算；計數(shù);
發(fā)明人 楊勛;魏力強 申請（專利權(quán)）人 北京國聯(lián)視訊信息技術(shù)股份有限公司
代理機構(gòu) 北京金智普華知識產(chǎn)權(quán)代理有限公司 代理人 北京國聯(lián)視訊信息技術(shù)股份有限公司
地址 100070 北京市豐臺區(qū)南四環(huán)西路188號總部基地6區(qū)3號樓
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于云計算的數(shù)據(jù)采集分析系統(tǒng)及方法，屬于數(shù)據(jù)采集和分析領(lǐng)域。該系統(tǒng)包括結(jié)合數(shù)據(jù)采集系統(tǒng)服務(wù)器，根據(jù)任務(wù)調(diào)度編排，基于數(shù)據(jù)采集規(guī)則啟動爬蟲程序，根據(jù)輸入?yún)?shù)抓取第一數(shù)據(jù)，并發(fā)送回大數(shù)據(jù)集群系統(tǒng)中；對抓取到的第一數(shù)據(jù)進行分類和篩選，實現(xiàn)數(shù)據(jù)清洗，并在數(shù)據(jù)清洗后，自動匹配大數(shù)據(jù)集群系統(tǒng)中的第二數(shù)據(jù)，通過相識度評分，關(guān)聯(lián)可能相識的數(shù)據(jù)；從大數(shù)據(jù)集群系統(tǒng)中檢索目標數(shù)據(jù)的必要數(shù)據(jù)源，展示查詢匹配結(jié)果。本發(fā)明通過自主研發(fā)的技術(shù)框架，展示出爬蟲程序抓取到的數(shù)據(jù)，方便進行清洗，并通過調(diào)度數(shù)據(jù)持久化，實現(xiàn)Web前端任務(wù)調(diào)度系統(tǒng)。通過任務(wù)調(diào)度系統(tǒng)，可以動態(tài)開啟、關(guān)閉，定時啟動爬蟲程序。