基于DAG變換的大數(shù)據(jù)處理方法
基本信息
| 申請?zhí)?/td> | CN202011390365.1 | 申請日 | - |
| 公開（公告）號 | CN112417226A | 公開（公告）日 | 2021-02-26 |
| 申請公布號 | CN112417226A | 申請公布日 | 2021-02-26 |
| 分類號 | G06F16/904(2019.01)I;G06F9/451(2018.01)I;G06F16/901(2019.01)I | 分類 | 計算；推算；計數(shù); |
| 發(fā)明人 | 馬成 | 申請（專利權(quán)）人 | 江蘇賽融科技股份有限公司 |
| 代理機構(gòu) | 北京同輝知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 廖娜 |
| 地址 | 210000江蘇省南京市浦口區(qū)浦濱大道320號科創(chuàng)廣場科技創(chuàng)新總部大廈B座2406室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及一種基于DAG變換的大數(shù)據(jù)處理方法，其從實際的業(yè)務(wù)數(shù)據(jù)處理場景出發(fā)，構(gòu)建AOV網(wǎng)并將AOV網(wǎng)從圖形結(jié)構(gòu)變換為邊集數(shù)組的圖存儲結(jié)構(gòu)，通過捕捉各頂點計算處理前后的狀態(tài)信息通過單鏈表的指針指向關(guān)系，拼接所有鏈表結(jié)點的算子為一個spark或是flink的可執(zhí)行表達式。由此，基于可視圖形化的方式將復(fù)雜的數(shù)據(jù)處理場景AOV網(wǎng)化。適用于多種業(yè)務(wù)領(lǐng)域，在進行數(shù)據(jù)處理時可以輕松實現(xiàn)抽象到具體的轉(zhuǎn)換。支持變換所有復(fù)雜DAG圖結(jié)構(gòu)為線性單鏈表結(jié)構(gòu)，全覆蓋標(biāo)準(zhǔn)AOV網(wǎng)特性的數(shù)據(jù)處理場景。擁有豐富類型并可擴展的數(shù)據(jù)處理節(jié)點庫，可滿足圖形化界面組件在AOV網(wǎng)的應(yīng)用。?? |
