一種基于MYSQL大數(shù)據(jù)清洗系統(tǒng)及其寫入瓶頸的方法

基本信息

申請?zhí)?/td> CN202011050133.1 申請日 -
公開（公告）號 CN112181965A 公開（公告）日 2021-01-05
申請公布號 CN112181965A 申請公布日 2021-01-05
分類號 G06F16/215(2019.01)I 分類 計算；推算；計數(shù);
發(fā)明人 任毅 申請（專利權(quán)）人 成都商通數(shù)治科技有限公司
代理機構(gòu) 成都玖和知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 成都商通數(shù)治科技有限公司
地址 610000四川省成都市高新區(qū)劍南大道中段1537號2棟1單元15樓1506號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于MYSQL大數(shù)據(jù)清洗系統(tǒng)及其寫入瓶頸的方法，包括：基于MYSQL的Web應(yīng)用服務(wù)器，Web應(yīng)用服務(wù)器通過DispatcherServlet分配為多個一級分布式Kafka數(shù)據(jù)分片，多個所述一級分布式Kafka數(shù)據(jù)分片內(nèi)分配多個分頁清洗Job，多個所述分頁清洗Job內(nèi)有進(jìn)行批量更新與插入的二級分布式Kafka數(shù)據(jù)分片；其中，DispatcherServlet內(nèi)有將分散在各個Kafka中的相同數(shù)據(jù)切割的AOP,將一級分布式Kafka數(shù)據(jù)分片的數(shù)據(jù)橫向切割到獨立的Kafka數(shù)據(jù)分片中；個分頁清洗Job對一級分布式Kafka數(shù)據(jù)進(jìn)行批量更新與插入清洗，根據(jù)清洗數(shù)據(jù)的大小分配至分頁清洗Job的二級分布式Kafka數(shù)據(jù)分片中?；贛YSQL的Web應(yīng)用服務(wù)器以分級的形式進(jìn)行分級優(yōu)化，并且每個階級同步進(jìn)行獨立對清洗數(shù)據(jù)、數(shù)據(jù)插入的方式進(jìn)行瓶頸優(yōu)化，快速的進(jìn)行完成優(yōu)化。??