基于分布式計(jì)算框架的全局排序輸出系統(tǒng)及其方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202011413983.3 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN112540985A | 公開（公告）日 | 2021-03-23 |
| 申請(qǐng)公布號(hào) | CN112540985A | 申請(qǐng)公布日 | 2021-03-23 |
| 分類號(hào) | G06F16/22(2019.01)I;G06F16/27(2019.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 孫振 | 申請(qǐng)（專利權(quán)）人 | 江蘇賽融科技股份有限公司 |
| 代理機(jī)構(gòu) | 北京同輝知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） | 代理人 | 廖娜 |
| 地址 | 210000江蘇省南京市浦口區(qū)浦濱大道320號(hào)科創(chuàng)廣場科技創(chuàng)新總部大廈B座2406室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及一種基于分布式計(jì)算框架的全局排序輸出系統(tǒng)及其方法，采用分布式計(jì)算框架，其內(nèi)設(shè)置有節(jié)點(diǎn)排序暫存模塊、共識(shí)數(shù)據(jù)排序模塊、數(shù)據(jù)同步輸出模塊。通過節(jié)點(diǎn)排序暫存模塊用于數(shù)據(jù)排序，通過共識(shí)數(shù)據(jù)排序模塊，將排序后的數(shù)據(jù)傳遞到下一個(gè)步驟，通過數(shù)據(jù)同步輸出模塊，將數(shù)據(jù)輸出至目標(biāo)庫表。由此，各個(gè)節(jié)點(diǎn)通過共識(shí)輪詢?nèi)謹(jǐn)?shù)據(jù)排序，不需要依賴分布式文件系統(tǒng)進(jìn)行全局排序，簡化了系統(tǒng)的復(fù)雜度。不需要將數(shù)據(jù)集中起來處理，降低了內(nèi)存、CPU等資源消耗。整個(gè)排序過程耗時(shí)少，處理效率高，能更快的寫入目標(biāo)庫表，提高用戶體驗(yàn)。減少網(wǎng)絡(luò)消耗，降低分布式計(jì)算框架資源消耗。?? |
