一種大數(shù)據(jù)綜合處理方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN201811204254.X 申請日 -
公開（公告）號 CN109408602A 公開（公告）日 2019-03-01
申請公布號 CN109408602A 申請公布日 2019-03-01
分類號 G06F16/28;G06F16/22;G06F16/21 分類 計算；推算；計數(shù);
發(fā)明人 王麗娟 申請（專利權）人 深圳中順易金融服務有限公司
代理機構 深圳市凱達知識產(chǎn)權事務所 代理人 劉大彎
地址 518000 廣東省深圳市前海深港合作區(qū)前灣一路1號A棟201室(入駐深圳市前海商務秘書有限公司)
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種大數(shù)據(jù)綜合處理方法及系統(tǒng)，包括業(yè)務數(shù)據(jù)庫RDBMS和離線計算模塊Hive、內存計算模塊Spark、資源管理與調度模塊Yarn、分布式文件系統(tǒng)HDFS、全量/增量采集模塊Sqoop，以及工作流調度模塊oozie；所述大數(shù)據(jù)綜合處理方法包括如下步驟：選定源頭子系統(tǒng)的訂單號為系統(tǒng)全局標識，對每個子系統(tǒng)相關表增加全局標識的任務，即上游訂單完成處理后，下游訂單從上游訂單獲取到所述全局標識并增加到自己的訂單記錄；對訂單的流轉(血緣關系)做直觀的展示，并提供相應的各種數(shù)據(jù)管理、查詢、展示。