便于海量多源異構(gòu)數(shù)據(jù)的清洗整合存儲(chǔ)的方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202011225571.7 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN112347093B | 公開(kāi)（公告）日 | 2021-08-03 |
| 申請(qǐng)公布號(hào) | CN112347093B | 申請(qǐng)公布日 | 2021-08-03 |
| 分類(lèi)號(hào) | G06F16/215（2019.01）I;G06F16/27（2019.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 劉源;周含笑;姜宇;于雷;趙輝;謝雨;王兆祥;董麗娜;李墨野;劉京京;王建勛 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 哈爾濱航天恒星數(shù)據(jù)系統(tǒng)科技有限公司 |
| 代理機(jī)構(gòu) | 北京君恒知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 王恒 |
| 地址 | 150028黑龍江省哈爾濱市高新技術(shù)產(chǎn)業(yè)開(kāi)發(fā)區(qū)科技創(chuàng)新城創(chuàng)新路1616號(hào)5號(hào)樓 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及一種便于海量多源異構(gòu)數(shù)據(jù)的清洗整合存儲(chǔ)的方法，屬于海量多源異構(gòu)數(shù)據(jù)處理領(lǐng)域，海量多源異構(gòu)數(shù)據(jù)處理中全局因素?zé)o法整合等問(wèn)題；本發(fā)明通過(guò)構(gòu)造數(shù)據(jù)源集合、遍歷集合，記錄類(lèi)型及數(shù)據(jù)協(xié)議、數(shù)據(jù)接入環(huán)節(jié)、協(xié)議適配環(huán)節(jié)，形成1階數(shù)據(jù)，推送緩存隊(duì)列、拉取1階數(shù)據(jù)，清洗環(huán)節(jié)，形成2階數(shù)據(jù)，推送緩存隊(duì)列、取2階數(shù)據(jù)，主被動(dòng)混合模式轉(zhuǎn)換整合環(huán)節(jié)，形成3階數(shù)據(jù)，推送緩存隊(duì)列以及最終拉取3階數(shù)據(jù)，分布存儲(chǔ)環(huán)節(jié)，完成最終存儲(chǔ)。本發(fā)明提供的方法，方便快捷、流程化明確，可降低海量多源異構(gòu)數(shù)據(jù)的清洗整合存儲(chǔ)各環(huán)節(jié)的耦合程度，通過(guò)逐層遷移、降階處理，可有效降低海量數(shù)據(jù)壓力、削峰填谷，能夠提升整個(gè)方法過(guò)程的魯棒性。 |
