一種云計算平臺及其調(diào)度、數(shù)據(jù)分析方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202010511914.X 申請日 -
公開(公告)號 CN111708932A 公開(公告)日 2020-09-25
申請公布號 CN111708932A 申請公布日 2020-09-25
分類號 G06F16/951(2019.01)I 分類 計算;推算;計數(shù);
發(fā)明人 周康;董巖;閆強;石凱;武鐵軍 申請(專利權(quán))人 中聯(lián)云港數(shù)據(jù)科技股份有限公司
代理機構(gòu) 北京國謙專利代理事務(wù)所(普通合伙) 代理人 中聯(lián)云港數(shù)據(jù)科技股份有限公司
地址 100029北京市朝陽區(qū)安翔北里甲11號北京創(chuàng)業(yè)大廈B座12層
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于網(wǎng)絡(luò)技術(shù)領(lǐng)域,公開了一種云計算平臺及其調(diào)度、數(shù)據(jù)分析方法及系統(tǒng),所述云計算平臺及其調(diào)度、數(shù)據(jù)分析系統(tǒng)包括:數(shù)據(jù)采集模塊、數(shù)據(jù)聚類模塊、安全檢測模塊、數(shù)據(jù)傳輸模塊、云計算平臺、數(shù)據(jù)調(diào)度模塊、數(shù)據(jù)分析模塊、云存儲模塊、顯示模塊。本發(fā)明通過數(shù)據(jù)采集模塊執(zhí)行網(wǎng)頁抓取和/或網(wǎng)站抓取,支持全網(wǎng)數(shù)據(jù)的抓取,具備極高地通用性,降低了維護(hù)和運營成本,提高了抓取有效數(shù)據(jù)的可靠性。通過安全檢測模塊對采集得到的數(shù)據(jù)集進(jìn)行安全檢測,保證了云計算平臺的安全性;對云計算中心的數(shù)據(jù)存儲方式和處理方式進(jìn)行改進(jìn),提高了云計算平臺中數(shù)據(jù)存儲的可靠性,保證了云節(jié)點之間負(fù)載均衡,有效的提高了云計算平臺的應(yīng)用處理性能。??