一種異構(gòu)海量數(shù)據(jù)高效低成本的裝載方法

基本信息

申請(qǐng)?zhí)?/td> CN200810039896.9 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN101621529B 公開(kāi)（公告）日 2012-10-10
申請(qǐng)公布號(hào) CN101621529B 申請(qǐng)公布日 2012-10-10
分類號(hào) H04L29/08(2006.01)I;H04L29/06(2006.01)I;H04L12/56(2006.01)I;H04L12/26(2006.01)I 分類 電通信技術(shù);
發(fā)明人 馮謐 申請(qǐng)（專利權(quán)）人 上海全成通信技術(shù)有限公司
代理機(jī)構(gòu) 上?？剖⒅R(shí)產(chǎn)權(quán)代理有限公司 代理人 趙志遠(yuǎn)
地址 200050 上海市延安西路726號(hào)(華敏翰尊國(guó)際)7樓J、K座
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種異構(gòu)海量數(shù)據(jù)高效低成本的裝載方法，包括以下步驟：將異構(gòu)數(shù)據(jù)源轉(zhuǎn)換成通用統(tǒng)一的平面文件接口；用戶將數(shù)據(jù)傳送到FTP服務(wù)器；對(duì)目標(biāo)數(shù)據(jù)庫(kù)創(chuàng)建接口緩沖表和對(duì)接口表按日期分區(qū)；入庫(kù)裝載程序收到文件后，檢測(cè)校驗(yàn)文件和原始數(shù)據(jù)文件是否一致；若為是，則入庫(kù)，且標(biāo)志入庫(kù)到入庫(kù)接口緩沖表并標(biāo)記文件狀態(tài)為正常；若為否，則標(biāo)志異常及異常原因；將緩沖區(qū)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗并插入到正式的入庫(kù)接口表中。與現(xiàn)有技術(shù)相比，本發(fā)明有效的解決了異構(gòu)海量數(shù)據(jù)裝載的問(wèn)題，同時(shí)避免了高投入采購(gòu)第三方ETL軟件和專業(yè)技術(shù)人員，為中小型公司降低開(kāi)發(fā)成本提供了解決方案。