一種流式數(shù)據(jù)處理方法及裝置
基本信息
| 申請(qǐng)?zhí)?/td> | CN201811206809.4 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN109408546A | 公開(kāi)（公告）日 | 2019-03-01 |
| 申請(qǐng)公布號(hào) | CN109408546A | 申請(qǐng)公布日 | 2019-03-01 |
| 分類(lèi)號(hào) | G06F16/2455;G06F16/22;G06F16/182;G06Q40/00 | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 彭陽(yáng);張小言 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 深圳中順易金融服務(wù)有限公司 |
| 代理機(jī)構(gòu) | 深圳市凱達(dá)知識(shí)產(chǎn)權(quán)事務(wù)所 | 代理人 | 劉大彎 |
| 地址 | 518000 廣東省深圳市前海深港合作區(qū)前灣一路1號(hào)A棟201室(入駐深圳市前海商務(wù)秘書(shū)有限公司) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及一種流式數(shù)據(jù)處理方法及裝置，應(yīng)用于大數(shù)據(jù)綜合處理系統(tǒng)，所述大數(shù)據(jù)綜合處理系統(tǒng)對(duì)接多個(gè)信托綜合賬戶(hù)系統(tǒng)，所述多個(gè)信托綜合賬戶(hù)系統(tǒng)包括訂單系統(tǒng)和多個(gè)系統(tǒng)內(nèi)部子系統(tǒng)；所述流式數(shù)據(jù)處理方法包括業(yè)務(wù)數(shù)據(jù)庫(kù)、內(nèi)存計(jì)算模塊Spark和離線(xiàn)計(jì)算模塊Hive，包括如下步驟：從所述多個(gè)系統(tǒng)內(nèi)部子系統(tǒng)中選定源頭子系統(tǒng)的訂單號(hào)為系統(tǒng)全局標(biāo)識(shí)，通過(guò)所述spark完成對(duì)每個(gè)子系統(tǒng)相關(guān)表增加全局標(biāo)識(shí)的任務(wù)。 |
