一種數(shù)據(jù)處理方法及系統(tǒng)、計算機設(shè)備、計算機存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202110114058.9 申請日 -
公開（公告）號 CN112835711A 公開（公告）日 2021-05-25
申請公布號 CN112835711A 申請公布日 2021-05-25
分類號 G06F9/50;G06F9/48 分類 計算；推算；計數(shù);
發(fā)明人 楊宇 申請（專利權(quán)）人 北京遠(yuǎn)盟普惠健康科技有限公司
代理機構(gòu) 北京辰權(quán)知識產(chǎn)權(quán)代理有限公司 代理人 劉廣達(dá)
地址 100022 北京市朝陽區(qū)東三環(huán)中路20號樓26層6室
法律狀態(tài) -

摘要

摘要 本發(fā)明能夠提供一種數(shù)據(jù)處理方法及系統(tǒng)、計算機設(shè)備、計算機存儲介質(zhì)。該數(shù)據(jù)處理方法可包括：基于接收的任務(wù)發(fā)起指令生成數(shù)據(jù)處理任務(wù)，讀取數(shù)據(jù)處理任務(wù)指向的待處理數(shù)據(jù)所在的文件路徑信息，根據(jù)文件路徑信息將數(shù)據(jù)處理任務(wù)分解為多個子任務(wù)，創(chuàng)建用于處理所述子任務(wù)的集群子角色，為各個集群子角色分別分配至少一個子任務(wù)，利用各個集群子角色分別處理各自接收到的至少一個子任務(wù)，以對待處理數(shù)據(jù)進行采集和解析。本發(fā)明通過并行分布式數(shù)據(jù)采集手段能夠快速地對大量的數(shù)據(jù)進行處理，數(shù)據(jù)采集和分析效率極高，基于易構(gòu)建和擴展集群的優(yōu)勢能夠較好地滿足快速增長的數(shù)據(jù)的及時處理需求，明顯降低了數(shù)據(jù)采集和分析難度。