一種多節(jié)點(diǎn)并行處理海量任意目錄結(jié)構(gòu)存檔文件的方法

基本信息

申請(qǐng)?zhí)?/td> CN202111031407.7 申請(qǐng)日 -
公開(kāi)(公告)號(hào) CN113791919A 公開(kāi)(公告)日 2021-12-14
申請(qǐng)公布號(hào) CN113791919A 申請(qǐng)公布日 2021-12-14
分類(lèi)號(hào) G06F9/54(2006.01)I;G06F9/50(2006.01)I;G06F9/48(2006.01)I;G06F3/06(2006.01)I 分類(lèi) 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 扈紫豪;黃祥志;王寶玉;臧文乾;王更科;余濤;趙亞萌;王棟 申請(qǐng)(專(zhuān)利權(quán))人 廊坊中科空間信息技術(shù)有限公司
代理機(jī)構(gòu) 北京志霖恒遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 代理人 杜武
地址 065000河北省廊坊市經(jīng)濟(jì)技術(shù)開(kāi)發(fā)區(qū)云鵬道20號(hào)新亞研發(fā)8層
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種多節(jié)點(diǎn)并行處理海量任意目錄結(jié)構(gòu)存檔文件的方法,其特征在于,包括如下步驟:用戶輸入文件路徑,并下發(fā)處理文件的任務(wù)至任務(wù)控制節(jié)點(diǎn);任務(wù)控制節(jié)點(diǎn)派發(fā)任務(wù)至任務(wù)下發(fā)消息隊(duì)列,同時(shí)指定工作節(jié)點(diǎn)執(zhí)行工作任務(wù);執(zhí)行工作任務(wù)的工作節(jié)點(diǎn)成為執(zhí)行節(jié)點(diǎn),執(zhí)行節(jié)點(diǎn)執(zhí)行任務(wù),完成任務(wù)后將完成信息反饋至任務(wù)反饋消息隊(duì)列;任務(wù)控制節(jié)點(diǎn)從任務(wù)反饋隊(duì)列拉取任務(wù)完成情況,判斷符合停止情況后,停止工作線程。本申請(qǐng)?jiān)谌蝿?wù)執(zhí)行過(guò)程中,根據(jù)任務(wù)完成情況動(dòng)態(tài)擴(kuò)容縮容;將任務(wù)派發(fā)給任務(wù)下發(fā)消息隊(duì)列,每個(gè)節(jié)點(diǎn)的任務(wù)負(fù)載更加均衡,處理效率更好。