一種處理海量數(shù)據(jù)的方法以及系統(tǒng)

基本信息

申請?zhí)?/td> CN201810194422.5 申請日 -
公開（公告）號 CN108446352A 公開（公告）日 2018-08-24
申請公布號 CN108446352A 申請公布日 2018-08-24
分類號 G06F17/30 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 王立;雷雨林 申請（專利權(quán)）人 深圳市網(wǎng)信聯(lián)動通信技術(shù)股份有限公司
代理機(jī)構(gòu) 深圳市順天達(dá)專利商標(biāo)代理有限公司 代理人 李琴
地址 518057 廣東省深圳市南山區(qū)高新中區(qū)科技中二路1號深圳軟件園二期13棟702房
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種處理海量數(shù)據(jù)的方法以及系統(tǒng)，方法包括：利用多個(gè)主機(jī)組建電腦集群，將需處理的數(shù)據(jù)文件存儲在集群中控制臺的共享的硬盤區(qū)域上；控制臺使用批處理語言將共享的硬盤區(qū)域上所有待處理的數(shù)據(jù)文件的處理任務(wù)分別分配給所述局域網(wǎng)絡(luò)中的其他主機(jī)，且在共享的硬盤區(qū)域上為其他主機(jī)生成目錄并存放相關(guān)的命令文件；其他主機(jī)根據(jù)所述命令文件處理接收到的待處理的數(shù)據(jù)文件，本發(fā)明利用組建的電腦集群處理共同分擔(dān)處理需要處理的數(shù)據(jù)文件，且基于操作系統(tǒng)自帶的批處理語言，不需要額外開發(fā)其他的工具及系統(tǒng)，就可以簡單快速的組建電腦集群，建立數(shù)據(jù)文件處理任務(wù)，整個(gè)方案架構(gòu)簡單，成本低。