基于大數(shù)據(jù)量任務(wù)的分區(qū)并行處理方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110839279.2 申請日 -
公開（公告）號 CN113485812A 公開（公告）日 2021-10-08
申請公布號 CN113485812A 申請公布日 2021-10-08
分類號 G06F9/48（2006.01）I;G06F16/23（2019.01）I;G06Q40/02（2012.01）I 分類 計算；推算；計數(shù);
發(fā)明人 張彪;羅鵬;張浩 申請（專利權(quán)）人 重慶富民銀行股份有限公司
代理機(jī)構(gòu) 重慶強(qiáng)大凱創(chuàng)專利代理事務(wù)所（普通合伙） 代理人 隋金艷
地址 401121重慶市渝北區(qū)財富東路2號涉外商務(wù)區(qū)一期B1棟
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種基于大數(shù)據(jù)量任務(wù)的分區(qū)并行處理方法及系統(tǒng)，屬于計算機(jī)技術(shù)領(lǐng)域，針對目前單線程大批量數(shù)據(jù)處理時，處理效率較低的問題，提出以下方案：基于大數(shù)據(jù)量任務(wù)的分區(qū)并行處理方法，包括：將數(shù)據(jù)庫表中的大數(shù)據(jù)量任務(wù)拆分為多個子任務(wù)；其中，各子任務(wù)可獨立、并行執(zhí)行；根據(jù)預(yù)設(shè)抓取策略發(fā)出任務(wù)抓取請求對多個子任務(wù)進(jìn)行抓取，并對抓取的子任務(wù)進(jìn)行鎖定；控制任務(wù)執(zhí)行器執(zhí)行各個被抓取的子任務(wù)；根據(jù)任務(wù)執(zhí)行器的運行，對任務(wù)管理器的任務(wù)表數(shù)據(jù)進(jìn)行更新。本發(fā)明技術(shù)方案提升大批量數(shù)據(jù)處理的效率和可靠性。