一種FTP數(shù)據(jù)庫與HDFS數(shù)據(jù)庫自動(dòng)互傳數(shù)據(jù)的方法

基本信息

申請(qǐng)?zhí)?/td> CN201910463038.5 申請(qǐng)日 -
公開（公告）號(hào) CN110377582B 公開（公告）日 2022-02-15
申請(qǐng)公布號(hào) CN110377582B 申請(qǐng)公布日 2022-02-15
分類號(hào) G06F16/21（2019.01）I;G06F16/25（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 徐劍;范聯(lián)偉;余保華;徐圣吉;李賢軍;張金國(guó);展昭;吳磊;何寬寬;胡鴻超;楊培韜;胡剛;陳磊;梅存林;韋良春;夏磊 申請(qǐng)（專利權(quán)）人 四創(chuàng)電子股份有限公司
代理機(jī)構(gòu) 合肥和瑞知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 王挺
地址 315336浙江省寧波市杭州灣新區(qū)玉海東路136號(hào)數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)園B區(qū)14號(hào)樓
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種FTP數(shù)據(jù)庫與HDFS數(shù)據(jù)庫自動(dòng)互傳數(shù)據(jù)的方法，包括如下步驟：數(shù)據(jù)抽取，GetFTP處理器查詢并抽取到FTP數(shù)據(jù)庫中的FTP數(shù)據(jù)，GetHDFS處理器查詢并抽取到HDFS數(shù)據(jù)庫中的HDFS數(shù)據(jù)；數(shù)據(jù)轉(zhuǎn)換，對(duì)UpdateAttribute處理器進(jìn)行屬性配置，UpdateAttribute處理器將抽取到的FTP數(shù)據(jù)轉(zhuǎn)換為HDFS數(shù)據(jù)，將抽取到的HDFS數(shù)據(jù)轉(zhuǎn)換為FTP數(shù)據(jù)；數(shù)據(jù)加載，分別對(duì)PutHDFS處理器和PutFTP處理器進(jìn)行屬性配置，PutHDFS處理器將轉(zhuǎn)換得到的HDFS數(shù)據(jù)加載到HDFS數(shù)據(jù)庫的目標(biāo)文件夾中，PutFTP處理器將轉(zhuǎn)換得到的FTP數(shù)據(jù)加載到FTP數(shù)據(jù)庫的目標(biāo)文件夾中。本發(fā)明降低了數(shù)據(jù)轉(zhuǎn)換的錯(cuò)誤率，實(shí)現(xiàn)了數(shù)據(jù)的高效抽取與互傳。