一種基于spark-SQL大數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)導(dǎo)入方法

基本信息

申請(qǐng)?zhí)?/td> CN201510920069.0 申請(qǐng)日 -
公開(公告)號(hào) CN105550296B 公開(公告)日 2018-10-30
申請(qǐng)公布號(hào) CN105550296B 申請(qǐng)公布日 2018-10-30
分類號(hào) G06F17/30 分類 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 張鋆;馮駿 申請(qǐng)(專利權(quán))人 深圳市華訊方舟軟件技術(shù)有限公司
代理機(jī)構(gòu) 北京律和信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 代理人 劉國偉;武玉琴
地址 518102 廣東省深圳市寶安區(qū)西鄉(xiāng)街道臣田社區(qū)臣田工業(yè)區(qū)37棟404室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于spark?SQL大數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)導(dǎo)入方法,通過入庫程序?qū)?shù)據(jù)導(dǎo)入spark?SQL大數(shù)據(jù)處理平臺(tái),所述入庫程序包括分區(qū)部分、數(shù)據(jù)壓縮部分、寫入HDFS部分,所述分區(qū)部分、數(shù)據(jù)壓縮部分、寫入HDFS部分分別采用C語言編程并編譯連接形成優(yōu)化的目標(biāo)代碼入庫程序。采用C語言實(shí)現(xiàn)分區(qū)邏輯,支持多個(gè)分區(qū),支持用戶自定義分區(qū)格式。使用本發(fā)明的數(shù)據(jù)導(dǎo)入方法入庫速度有極大提升,通過對(duì)一般樣本數(shù)據(jù)的實(shí)際測(cè)試,在普通服務(wù)器平臺(tái)上做對(duì)比測(cè)試,原入庫程序速度為2萬條/秒,本發(fā)明所優(yōu)化修改過的入庫程序速度可以達(dá)到19萬條/秒。這種入庫速度的提高,主要原因是由于程序采用C語言改寫,效率比JVM方式快很多。