一種基于spark-SQL大數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)導(dǎo)入方法
基本信息
申請(qǐng)?zhí)?/td> | CN201510920069.0 | 申請(qǐng)日 | - |
公開(公告)號(hào) | CN105550296B | 公開(公告)日 | 2018-10-30 |
申請(qǐng)公布號(hào) | CN105550296B | 申請(qǐng)公布日 | 2018-10-30 |
分類號(hào) | G06F17/30 | 分類 | 計(jì)算;推算;計(jì)數(shù); |
發(fā)明人 | 張鋆;馮駿 | 申請(qǐng)(專利權(quán))人 | 深圳市華訊方舟軟件技術(shù)有限公司 |
代理機(jī)構(gòu) | 北京律和信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) | 代理人 | 劉國偉;武玉琴 |
地址 | 518102 廣東省深圳市寶安區(qū)西鄉(xiāng)街道臣田社區(qū)臣田工業(yè)區(qū)37棟404室 | ||
法律狀態(tài) | - |
摘要
摘要 | 本發(fā)明公開了一種基于spark?SQL大數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)導(dǎo)入方法,通過入庫程序?qū)?shù)據(jù)導(dǎo)入spark?SQL大數(shù)據(jù)處理平臺(tái),所述入庫程序包括分區(qū)部分、數(shù)據(jù)壓縮部分、寫入HDFS部分,所述分區(qū)部分、數(shù)據(jù)壓縮部分、寫入HDFS部分分別采用C語言編程并編譯連接形成優(yōu)化的目標(biāo)代碼入庫程序。采用C語言實(shí)現(xiàn)分區(qū)邏輯,支持多個(gè)分區(qū),支持用戶自定義分區(qū)格式。使用本發(fā)明的數(shù)據(jù)導(dǎo)入方法入庫速度有極大提升,通過對(duì)一般樣本數(shù)據(jù)的實(shí)際測(cè)試,在普通服務(wù)器平臺(tái)上做對(duì)比測(cè)試,原入庫程序速度為2萬條/秒,本發(fā)明所優(yōu)化修改過的入庫程序速度可以達(dá)到19萬條/秒。這種入庫速度的提高,主要原因是由于程序采用C語言改寫,效率比JVM方式快很多。 |
