一種用于數(shù)據(jù)挖掘系統(tǒng)的基于內(nèi)存的數(shù)據(jù)快速碰撞子系統(tǒng)

基本信息

申請?zhí)?/td> CN201810552718.X 申請日 -
公開（公告）號 CN109062920A 公開（公告）日 2021-06-08
申請公布號 CN109062920A 申請公布日 2021-06-08
分類號 G06F17/30;G06F9/50 分類 計算；推算；計數(shù);
發(fā)明人 陳華;郁東風(fēng);葛永山 申請（專利權(quán)）人 江蘇開拓信息與系統(tǒng)有限公司
代理機構(gòu) 無錫市匯誠永信專利代理事務(wù)所（普通合伙） 代理人 張歡勇
地址 214000 江蘇省無錫市濱湖區(qū)蠡湖商務(wù)園9號
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種用于數(shù)據(jù)挖掘系統(tǒng)的基于內(nèi)存的數(shù)據(jù)快速碰撞子系統(tǒng)，包括任務(wù)控制模塊、資源監(jiān)控/流量控制模塊、對外接口模塊、路由模塊、內(nèi)存運算域模塊和數(shù)據(jù)驅(qū)動模塊，任務(wù)控制模塊根據(jù)系統(tǒng)當前狀態(tài)信息，實現(xiàn)對數(shù)據(jù)碰撞任務(wù)的接收、啟動、執(zhí)行及任務(wù)請求處理結(jié)果的返回，資源監(jiān)控/流量控制模塊為任務(wù)控制模塊提供系統(tǒng)當前狀態(tài)信息；對外接口模塊通過HTTP對外暴露出接口服務(wù)；路由模塊對任務(wù)提交者提交的數(shù)據(jù)碰撞任務(wù)請求進行解析獲得任務(wù)參數(shù)，將任務(wù)參數(shù)路由至算法單元，內(nèi)存運算域模塊包括多個算法單元，數(shù)據(jù)驅(qū)動模塊包括多個數(shù)據(jù)驅(qū)動程序，本發(fā)明數(shù)據(jù)抽取效率高，避免了數(shù)據(jù)落地帶來的I/O開銷。