一種面向工業(yè)大數(shù)據(jù)的數(shù)據(jù)清洗和事件處理的云平臺系統(tǒng)

基本信息

申請?zhí)?/td> CN202010329550.3 申請日 -
公開（公告）號 CN113535422A 公開（公告）日 2021-10-22
申請公布號 CN113535422A 申請公布日 2021-10-22
分類號 G06F9/54（2006.01）I;G06F9/50（2006.01）I;G06F16/215（2019.01）I;G06F16/2458（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 卓琳;黃晁;方浩杰 申請（專利權(quán)）人 寧波中科信息技術(shù)應(yīng)用研究院（寧波人工智能產(chǎn)業(yè)研究院）
代理機(jī)構(gòu) - 代理人 -
地址 315040浙江省寧波市高新區(qū)光華路299弄19號C9幢9層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種面向工業(yè)大數(shù)據(jù)的數(shù)據(jù)清洗和事件處理的云平臺系統(tǒng)，該系統(tǒng)可實(shí)現(xiàn)多數(shù)據(jù)源數(shù)據(jù)實(shí)時(shí)采集、數(shù)據(jù)預(yù)處理、重復(fù)記錄檢測和清洗、事件關(guān)系建模，從而提高數(shù)據(jù)質(zhì)量，為企業(yè)優(yōu)化流程、預(yù)防故障、提高生產(chǎn)效益和社會價(jià)值提供實(shí)時(shí)可靠的事件信息。為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種面向工業(yè)大數(shù)據(jù)的數(shù)據(jù)清洗和事件處理的云平臺系統(tǒng)，該系統(tǒng)包括：多數(shù)據(jù)源數(shù)據(jù)采集模塊，用于從多個(gè)不同數(shù)據(jù)源系統(tǒng)采集不同格式的非結(jié)構(gòu)化數(shù)據(jù)，存入消息中間件；數(shù)據(jù)預(yù)處理模塊，用于數(shù)據(jù)格式標(biāo)準(zhǔn)化、規(guī)范化，屬性拆分、合并，缺失值補(bǔ)全等操作；重復(fù)記錄檢測和清洗模塊，用于識別相似重復(fù)記錄，檢測并清洗離群點(diǎn)數(shù)據(jù)；事件關(guān)系建模模塊，用于對之前處理的一系列完整和詳細(xì)的對事件描述的事件集合進(jìn)行分類和關(guān)聯(lián)，構(gòu)建出事件關(guān)聯(lián)圖。