一種大數(shù)據(jù)處理流程的執(zhí)行計劃生成方法
基本信息
申請?zhí)?/td> | CN201910985525.8 | 申請日 | - |
公開(公告)號 | CN110765163B | 公開(公告)日 | 2020-02-07 |
申請公布號 | CN110765163B | 申請公布日 | 2020-02-07 |
分類號 | G06F16/2455(2019.01)I | 分類 | 計算;推算;計數(shù); |
發(fā)明人 | 袁思靜 | 申請(專利權(quán))人 | 廣州金融科技股份有限公司 |
代理機(jī)構(gòu) | 廣州粵高專利商標(biāo)代理有限公司 | 代理人 | 單香杰 |
地址 | 511458廣東省廣州市南沙區(qū)海濱路171號南沙金融大廈11樓1101之一J41 | ||
法律狀態(tài) | - |
摘要
摘要 | 本發(fā)明實施例公開了一種大數(shù)據(jù)處理流程的執(zhí)行計劃生成方法,包括如下步驟:對每個數(shù)據(jù)采集終端匹配獨立且唯一的數(shù)據(jù)傳輸路徑;數(shù)據(jù)流以隊列方式順次通過數(shù)據(jù)傳輸路徑進(jìn)行數(shù)據(jù)預(yù)處理,定義字符串Data_ID參數(shù)統(tǒng)計通過數(shù)據(jù)傳輸路徑的數(shù)據(jù)流數(shù)量;定義每個預(yù)處理流程的序號Manage_ID,數(shù)據(jù)流每通過一個處理流程,則數(shù)據(jù)流上新增表示處理流程序號的Manage_ID屬性;對數(shù)據(jù)流的Manage_ID檢測,判斷數(shù)據(jù)處理的正確流程;每個數(shù)據(jù)流的獨立數(shù)據(jù)上新增傳輸路徑Port_ID屬性和隊列序號Data_ID屬性;本方案既保證大數(shù)據(jù)處理過程中的統(tǒng)一性,又提供了大數(shù)據(jù)處理過程中的對比關(guān)聯(lián)性。?? |
