一種處理海量數(shù)據(jù)的方法以及系統(tǒng)
基本信息
| 申請(qǐng)?zhí)?/td> | CN201810194422.5 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN108446352A | 公開（公告）日 | 2018-08-24 |
| 申請(qǐng)公布號(hào) | CN108446352A | 申請(qǐng)公布日 | 2018-08-24 |
| 分類號(hào) | G06F17/30 | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 王立;雷雨林 | 申請(qǐng)（專利權(quán)）人 | 深圳市網(wǎng)信聯(lián)動(dòng)通信技術(shù)股份有限公司 |
| 代理機(jī)構(gòu) | 深圳市順天達(dá)專利商標(biāo)代理有限公司 | 代理人 | 李琴 |
| 地址 | 518057 廣東省深圳市南山區(qū)高新中區(qū)科技中二路1號(hào)深圳軟件園二期13棟702房 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開了一種處理海量數(shù)據(jù)的方法以及系統(tǒng)，方法包括：利用多個(gè)主機(jī)組建電腦集群，將需處理的數(shù)據(jù)文件存儲(chǔ)在集群中控制臺(tái)的共享的硬盤區(qū)域上；控制臺(tái)使用批處理語(yǔ)言將共享的硬盤區(qū)域上所有待處理的數(shù)據(jù)文件的處理任務(wù)分別分配給所述局域網(wǎng)絡(luò)中的其他主機(jī)，且在共享的硬盤區(qū)域上為其他主機(jī)生成目錄并存放相關(guān)的命令文件；其他主機(jī)根據(jù)所述命令文件處理接收到的待處理的數(shù)據(jù)文件，本發(fā)明利用組建的電腦集群處理共同分擔(dān)處理需要處理的數(shù)據(jù)文件，且基于操作系統(tǒng)自帶的批處理語(yǔ)言，不需要額外開發(fā)其他的工具及系統(tǒng)，就可以簡(jiǎn)單快速的組建電腦集群，建立數(shù)據(jù)文件處理任務(wù)，整個(gè)方案架構(gòu)簡(jiǎn)單，成本低。 |
