基于大數(shù)據(jù)的數(shù)據(jù)定制接入方法及系統(tǒng)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202110367307.5 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN113111105A | 公開(kāi)（公告）日 | 2021-07-13 |
| 申請(qǐng)公布號(hào) | CN113111105A | 申請(qǐng)公布日 | 2021-07-13 |
| 分類號(hào) | G06F16/25（2019.01）I;G06F16/27（2019.01）I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 周正斌;王勇;王震;王波;廖文緒 | 申請(qǐng)（專利權(quán)）人 | 創(chuàng)意信息技術(shù)股份有限公司 |
| 代理機(jī)構(gòu) | 成都金英專利代理事務(wù)所（普通合伙） | 代理人 | 袁英 |
| 地址 | 610000四川省成都市青羊區(qū)萬(wàn)和路９９號(hào)麗陽(yáng)天下７－９室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了基于大數(shù)據(jù)的數(shù)據(jù)定制接入方法及系統(tǒng)，方法包括以下步驟：一：數(shù)據(jù)接入配置，根據(jù)不同類型的數(shù)據(jù)分別對(duì)Web?ETL和接入申請(qǐng)單的屬性進(jìn)行配置，并生成對(duì)應(yīng)的數(shù)據(jù)接入任務(wù)；二：執(zhí)行數(shù)據(jù)接入，根據(jù)配置的數(shù)據(jù)接入任務(wù)類型分別選擇Web?ETL后端執(zhí)行器、默認(rèn)執(zhí)行器和個(gè)性化擴(kuò)展執(zhí)行器分別進(jìn)行執(zhí)行處理，將讀取的數(shù)據(jù)寫(xiě)入到隊(duì)列中，并保存至目標(biāo)數(shù)據(jù)庫(kù)中。本發(fā)明采用了設(shè)計(jì)器與執(zhí)行器分離，數(shù)據(jù)獲取與數(shù)據(jù)入庫(kù)分離，再加上Kafka消息中間件的方式實(shí)現(xiàn)數(shù)據(jù)接入，定義了一套數(shù)據(jù)類型之間互相轉(zhuǎn)換的中間類型，可滿足不同類型的數(shù)據(jù)之間的接入轉(zhuǎn)換過(guò)程，能最大限度地保障數(shù)據(jù)完整準(zhǔn)確接入。 |
