一種汽車車型網(wǎng)絡(luò)價(jià)格監(jiān)測(cè)系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202010750740.2 申請(qǐng)日 -
公開（公告）號(hào) CN111814023A 公開（公告）日 2021-06-15
申請(qǐng)公布號(hào) CN111814023A 申請(qǐng)公布日 2021-06-15
分類號(hào) G06F16/951;G06F16/27;G06F16/25;G06F16/248;G06F16/22;G06F16/182 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 孫一帥;李奏換;龔鶴皋;陳楚豪;郭建錚;梁維新 申請(qǐng)（專利權(quán)）人 廣州威爾森信息科技有限公司
代理機(jī)構(gòu) 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 代理人 黃忠
地址 510623 廣東省廣州市天河區(qū)珠江東路12號(hào)1201房之全層（僅限辦公用途）
法律狀態(tài) -

摘要

摘要 本申請(qǐng)公開了一種汽車車型網(wǎng)絡(luò)價(jià)格監(jiān)測(cè)系統(tǒng)，數(shù)據(jù)采集模塊通過爬蟲技術(shù)從汽車網(wǎng)站采集汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)并存儲(chǔ)至預(yù)置數(shù)據(jù)庫；數(shù)據(jù)同步模塊將預(yù)置數(shù)據(jù)庫的網(wǎng)絡(luò)價(jià)格數(shù)據(jù)同步到Hadoop大數(shù)據(jù)平臺(tái)的分布式文件系統(tǒng)HDFS；數(shù)據(jù)預(yù)處理模塊將HDFS的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)加載到Hive表，對(duì)Hive表中的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)依次進(jìn)行異常值過濾、重復(fù)值過濾、車型型號(hào)匹配和匯總，得到預(yù)處理后的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)；數(shù)據(jù)計(jì)算模塊根據(jù)預(yù)置計(jì)算規(guī)則對(duì)預(yù)處理后的汽車車型網(wǎng)絡(luò)價(jià)格數(shù)據(jù)進(jìn)行計(jì)算；可視化模塊對(duì)計(jì)算結(jié)果進(jìn)行可視化，解決了現(xiàn)有的汽車車型價(jià)格的獲取和處理采用人工處理，存在數(shù)據(jù)采集和處理時(shí)間長(zhǎng)，處理效率低的技術(shù)問題。