一種自動化的數(shù)據(jù)加載方法及裝置

基本信息

申請?zhí)?/td> CN202111184802.9 申請日 -
公開（公告）號 CN113626514B 公開（公告）日 2022-02-25
申請公布號 CN113626514B 申請公布日 2022-02-25
分類號 G06F16/25（2019.01）I;G06F16/23（2019.01）I;G06F16/27（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 陳曉希;史晨陽;王磊;劉淼;彭強;薛淇升;吳曉剛;張翠;何如意;侯強 申請（專利權(quán)）人 中國光大銀行股份有限公司
代理機構(gòu) 北京集佳知識產(chǎn)權(quán)代理有限公司 代理人 張靜
地址 100033北京市西城區(qū)太平橋大街25號、甲25號中國光大中心
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種自動化的數(shù)據(jù)加載方法及裝置，包括：調(diào)取至少包含待加載的數(shù)據(jù)表的屬性信息的配置文件，基于預先生成SQL模板和配置文件的對應關系，將配置文件中的第一信息導入到SQL模板中；基于預先生成的HIVE模板和配置文件的對應關系，將所述配置文件中的第二信息導入到HIVE模板中；第一信息和第二信息至少包含待加載的數(shù)據(jù)表的屬性信息；通過HIVE模板，將待加載的數(shù)據(jù)表包含的數(shù)據(jù)導入到大數(shù)據(jù)平臺中；將SQL模板中信息記錄到所述大數(shù)據(jù)平臺中；所述SQL模板中的信息至少包括待加載的數(shù)據(jù)表的屬性信息。由此，實現(xiàn)了向大數(shù)據(jù)平臺進行自動化數(shù)據(jù)加載的方法，提高了數(shù)據(jù)加載的準確度，降低了失誤率。