一種多節(jié)點并行處理海量任意目錄結(jié)構(gòu)存檔文件的方法

基本信息

申請?zhí)?/td> CN202111031407.7 申請日 -
公開（公告）號 CN113791919A 公開（公告）日 2021-12-14
申請公布號 CN113791919A 申請公布日 2021-12-14
分類號 G06F9/54（2006.01）I;G06F9/50（2006.01）I;G06F9/48（2006.01）I;G06F3/06（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 扈紫豪;黃祥志;王寶玉;臧文乾;王更科;余濤;趙亞萌;王棟 申請（專利權(quán)）人 北京四維新世紀信息技術(shù)有限公司
代理機構(gòu) 北京志霖恒遠知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 杜武
地址 065000河北省廊坊市經(jīng)濟技術(shù)開發(fā)區(qū)云鵬道20號新亞研發(fā)8層
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種多節(jié)點并行處理海量任意目錄結(jié)構(gòu)存檔文件的方法，其特征在于，包括如下步驟：用戶輸入文件路徑，并下發(fā)處理文件的任務(wù)至任務(wù)控制節(jié)點；任務(wù)控制節(jié)點派發(fā)任務(wù)至任務(wù)下發(fā)消息隊列，同時指定工作節(jié)點執(zhí)行工作任務(wù)；執(zhí)行工作任務(wù)的工作節(jié)點成為執(zhí)行節(jié)點，執(zhí)行節(jié)點執(zhí)行任務(wù)，完成任務(wù)后將完成信息反饋至任務(wù)反饋消息隊列；任務(wù)控制節(jié)點從任務(wù)反饋隊列拉取任務(wù)完成情況，判斷符合停止情況后，停止工作線程。本申請在任務(wù)執(zhí)行過程中，根據(jù)任務(wù)完成情況動態(tài)擴容縮容；將任務(wù)派發(fā)給任務(wù)下發(fā)消息隊列，每個節(jié)點的任務(wù)負載更加均衡，處理效率更好。