實(shí)時(shí)數(shù)倉(cāng)自動(dòng)ETL方法、系統(tǒng)、設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110444992.7 申請(qǐng)日 -
公開（公告）號(hào) CN113220757A 公開（公告）日 2021-08-06
申請(qǐng)公布號(hào) CN113220757A 申請(qǐng)公布日 2021-08-06
分類號(hào) G06F16/25;G06F16/28;G06F9/54 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 葛昊 申請(qǐng)（專利權(quán)）人 上海鋼銀科技發(fā)展有限公司
代理機(jī)構(gòu) - 代理人 -
地址 201900 上海市寶山區(qū)泰和路1088號(hào)6幢B區(qū)187室
法律狀態(tài) -

摘要

摘要 本申請(qǐng)涉及涉及電子商務(wù)平臺(tái)準(zhǔn)實(shí)時(shí)數(shù)倉(cāng)建設(shè)技術(shù)領(lǐng)域，公開了一種實(shí)時(shí)數(shù)倉(cāng)自動(dòng)ETL方法、系統(tǒng)，實(shí)時(shí)數(shù)倉(cāng)自動(dòng)ETL方法，包括：數(shù)據(jù)抽取，將mysql數(shù)據(jù)庫(kù)中的數(shù)據(jù)抽取至消息隊(duì)列Kafka中；數(shù)據(jù)轉(zhuǎn)換，基于根據(jù)用戶需求預(yù)先在mysql數(shù)據(jù)庫(kù)中配置的轉(zhuǎn)換策略對(duì)進(jìn)入消息隊(duì)列Kafka中的數(shù)據(jù)進(jìn)加，包括：設(shè)置默認(rèn)值、數(shù)據(jù)匯總、以其他數(shù)據(jù)庫(kù)的數(shù)據(jù)作為取值條件，以及上傳腳本描述中的一種或多種；數(shù)據(jù)加載，基于預(yù)先在mysql數(shù)據(jù)庫(kù)中配置的數(shù)據(jù)來(lái)源地和目標(biāo)地的對(duì)應(yīng)關(guān)系，將進(jìn)加后的數(shù)據(jù)加載至標(biāo)準(zhǔn)mysql數(shù)據(jù)庫(kù)。本申請(qǐng)通過采用上述技術(shù)方案，全程配置化所有的數(shù)據(jù)ETL需求可通過程序配置進(jìn)完成，無(wú)需編寫代碼，簡(jiǎn)化了實(shí)時(shí)數(shù)倉(cāng)的ETL過程，縮短了數(shù)據(jù)延遲。