數(shù)據(jù)構(gòu)建方法

基本信息

申請?zhí)?/td> CN202110759774.2 申請日 -
公開（公告）號 CN113468177A 公開（公告）日 2021-10-01
申請公布號 CN113468177A 申請公布日 2021-10-01
分類號 G06F16/22（2019.01）I;G06F16/21（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 張陽;楊秦敏;寧海元 申請（專利權(quán)）人 杭州玳數(shù)科技有限公司
代理機(jī)構(gòu) 常州佰業(yè)騰飛專利代理事務(wù)所（普通合伙） 代理人 陳紅橋
地址 310030浙江省杭州市西湖區(qū)紫霞街176號杭州互聯(lián)網(wǎng)創(chuàng)新創(chuàng)業(yè)園2號樓8F
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，為解決目前數(shù)據(jù)庫工具在大批量構(gòu)建數(shù)據(jù)時(shí)效率較低、資源消耗較大的技術(shù)問題，提出了一種數(shù)據(jù)構(gòu)建方法，該方法包括以下步驟：通過yaml配置文件來配置數(shù)據(jù)庫和DAGScheduleX接口請求信息；讀取yaml配置文件中的數(shù)據(jù)庫配置信息；通過讀取的數(shù)據(jù)庫配置信息創(chuàng)建對應(yīng)的數(shù)據(jù)庫寫入表信息；根據(jù)所述數(shù)據(jù)庫配置信息和所述數(shù)據(jù)庫寫入表信息構(gòu)建數(shù)據(jù)同步任務(wù)的Json；讀取DAGScheduleX接口請求信息，使用HTTP請求DAGScheduleX創(chuàng)建數(shù)據(jù)同步任務(wù)。本發(fā)明能夠快速高效地構(gòu)建大批量的數(shù)據(jù)，且資源消耗較低。