高并發(fā)電商網(wǎng)站的網(wǎng)頁數(shù)據(jù)采集方法、系統(tǒng)和介質(zhì)

基本信息

申請?zhí)?/td> CN201811519412.0 申請日 -
公開（公告）號 CN109697124A 公開（公告）日 2019-04-30
申請公布號 CN109697124A 申請公布日 2019-04-30
分類號 G06F9/50（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 翁文言; 趙方; 陳志毅; 楊振宗; 陽衡峰; 夏冰 申請（專利權(quán)）人 深圳店匠科技有限公司
代理機構(gòu) 深圳協(xié)成知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 深圳店匠科技有限公司
地址 518000 廣東省深圳市南山區(qū)粵海街道粵興四道1號中山大學(xué)深圳產(chǎn)學(xué)研大樓1301
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種高并發(fā)電商網(wǎng)站的網(wǎng)頁數(shù)據(jù)采集方法、系統(tǒng)和介質(zhì)，所述方法包括以下步驟：當接收到針對目標網(wǎng)頁的網(wǎng)頁數(shù)據(jù)請求時，預(yù)分配多個服務(wù)器組成至少兩個計算集群；通過所述計算集群進行網(wǎng)頁數(shù)據(jù)采集；在網(wǎng)頁數(shù)據(jù)采集過程中，檢測各個計算集群的計算資源利用率；當檢測到有的計算集群的計算資源利用率高，有的計算集群的計算資源利用率低時，則從計算資源利用率低的計算集群中調(diào)配預(yù)設(shè)數(shù)量的服務(wù)器到計算資源利用率高的計算集群。從而通過避免了計算資源分配不合理造成的計算資源的浪費或不足，實現(xiàn)了資源的優(yōu)化配置，提高了計算資源的利用率，進而提高了數(shù)據(jù)采集效率。