一種基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)開(kāi)發(fā)方法

基本信息

申請(qǐng)?zhí)?/td> CN202011594890.5 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN112711634A 公開(kāi)（公告）日 2021-04-27
申請(qǐng)公布號(hào) CN112711634A 申請(qǐng)公布日 2021-04-27
分類(lèi)號(hào) G06F16/27;G06F16/215;G06F16/25 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 廖雅哲 申請(qǐng)（專(zhuān)利權(quán)）人 科技谷（廈門(mén)）信息技術(shù)有限公司
代理機(jī)構(gòu) 廈門(mén)致群財(cái)富專(zhuān)利代理事務(wù)所（普通合伙） 代理人 劉兆慶;鄧貴琴
地址 361000 福建省廈門(mén)市湖里區(qū)安嶺二路88號(hào)A棟404室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)開(kāi)發(fā)方法，包括如下步驟：S1、數(shù)據(jù)源庫(kù)通過(guò)中間傳輸載體FlinkX對(duì)接目標(biāo)數(shù)據(jù)庫(kù)；S2、FlinkX將所述數(shù)據(jù)源庫(kù)中的數(shù)據(jù)周期性同步到目標(biāo)數(shù)據(jù)庫(kù)，并進(jìn)行周期性清洗；S3、對(duì)所述數(shù)據(jù)進(jìn)行存儲(chǔ)計(jì)算轉(zhuǎn)成數(shù)據(jù)表，所述離線(xiàn)數(shù)據(jù)的計(jì)算采用Spark計(jì)算引擎，所述實(shí)時(shí)數(shù)據(jù)的計(jì)算采用Flink計(jì)算引擎；S4、將計(jì)算后的數(shù)據(jù)表轉(zhuǎn)化為數(shù)據(jù)API；S5、數(shù)據(jù)中臺(tái)通過(guò)API網(wǎng)關(guān)發(fā)布數(shù)據(jù)API到API市場(chǎng)，或用戶(hù)通過(guò)API網(wǎng)關(guān)直接調(diào)用數(shù)據(jù)API。本發(fā)明基于數(shù)據(jù)中臺(tái)，將多種數(shù)據(jù)源的數(shù)據(jù)按離線(xiàn)數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)分別進(jìn)行同步，然后轉(zhuǎn)化成數(shù)據(jù)API，減少了開(kāi)發(fā)人員的數(shù)據(jù)開(kāi)發(fā)時(shí)間，降低了數(shù)據(jù)開(kāi)發(fā)門(mén)檻、提高數(shù)據(jù)開(kāi)發(fā)效率。