一種大批量數(shù)據(jù)的預(yù)處理及入庫的方法

基本信息

申請?zhí)?/td> CN201910794841.7 申請日 -
公開（公告）號 CN110489403A 公開（公告）日 2019-11-22
申請公布號 CN110489403A 申請公布日 2019-11-22
分類號 G06F16/21（2019.01）; G06F16/25（2019.01） 分類 計算；推算；計數(shù);
發(fā)明人 趙偉; 康磊 申請（專利權(quán)）人 江蘇華庫數(shù)據(jù)技術(shù)有限公司
代理機(jī)構(gòu) - 代理人 -
地址 210000 江蘇省南京市建鄴區(qū)奧體大街69號1幢20層
法律狀態(tài) -

摘要

摘要 一種大批量數(shù)據(jù)的預(yù)處理及入庫的方法，具體方法包括以下步驟：步驟一、第一個過程是數(shù)據(jù)預(yù)處理的過程，該過程的輸入是待加載的源數(shù)據(jù)文件，輸出是可以直接給第二個過程使用的集群存儲層數(shù)據(jù)文件；步驟二、第二個過程是數(shù)據(jù)提交過程，即將預(yù)處理過程的輸出提交到集群數(shù)據(jù)庫系統(tǒng)中。本方法中加載的數(shù)據(jù)預(yù)處理過程不需要持有加載表的寫鎖，可以與加載表的其它DML并發(fā)進(jìn)行；數(shù)據(jù)預(yù)處理過程相對獨(dú)立，可以將數(shù)據(jù)預(yù)處理過程放置到集群資源比較空閑的節(jié)點(diǎn)上，實(shí)現(xiàn)負(fù)載均衡。