數(shù)據(jù)采集量的監(jiān)測(cè)方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110310597.X 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113051499A 公開(kāi)（公告）日 2021-06-29
申請(qǐng)公布號(hào) CN113051499A 申請(qǐng)公布日 2021-06-29
分類號(hào) G06F16/955;G06F16/9532 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 王琛;朱玉林;李青龍 申請(qǐng)（專利權(quán)）人 北京智慧星光信息技術(shù)有限公司
代理機(jī)構(gòu) 北京智宇正信知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 李明卓
地址 100080 北京市海淀區(qū)海淀大街8號(hào)A座22層A區(qū)
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種數(shù)據(jù)采集量的監(jiān)測(cè)方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取包括若干條采集數(shù)據(jù)的采集數(shù)據(jù)源；根據(jù)每一條采集數(shù)據(jù)分別獲取字段信息，字段信息包括標(biāo)簽值、配置cid和詳情頁(yè)數(shù)據(jù)量；分別判斷標(biāo)簽值是否等于預(yù)設(shè)值；不等于預(yù)設(shè)值則過(guò)濾采集數(shù)據(jù)；等于預(yù)設(shè)值則將字段信息存入MySQL數(shù)據(jù)庫(kù)得到有效數(shù)據(jù)集；遍歷有效數(shù)據(jù)集中所有配置cid，根據(jù)每一個(gè)配置cid查詢所對(duì)應(yīng)的頻道URL數(shù)據(jù)量；將配置cid所對(duì)應(yīng)的數(shù)據(jù)量相加得到頻道URL總數(shù)據(jù)量；判斷總數(shù)據(jù)量是否大于預(yù)設(shè)URL數(shù)量；若總數(shù)據(jù)量不大于預(yù)設(shè)URL數(shù)量則根據(jù)配置cid的詳情頁(yè)數(shù)據(jù)量進(jìn)行數(shù)據(jù)監(jiān)測(cè)；若總數(shù)據(jù)量大于預(yù)設(shè)URL數(shù)量則根據(jù)配置cid的頻道URL數(shù)據(jù)量進(jìn)行數(shù)據(jù)監(jiān)測(cè)，實(shí)現(xiàn)了數(shù)據(jù)量的自動(dòng)監(jiān)測(cè)。