一種網(wǎng)站數(shù)據(jù)采集方法及存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202111253993.X 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN113886750A 公開(kāi)（公告）日 2022-01-04
申請(qǐng)公布號(hào) CN113886750A 申請(qǐng)公布日 2022-01-04
分類號(hào) G06F16/958（2019.01）I;G06F16/955（2019.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 劉超;崔俊;隋國(guó)棟;劉峰 申請(qǐng)（專利權(quán)）人 北京值得買科技股份有限公司
代理機(jī)構(gòu) - 代理人 -
地址 100071北京市豐臺(tái)區(qū)汽車博物館東路1號(hào)院3號(hào)樓33層3801
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種網(wǎng)站數(shù)據(jù)采集方法及存儲(chǔ)介質(zhì)，包括：獲取網(wǎng)站的鏈接；根據(jù)所述鏈接獲取對(duì)應(yīng)的網(wǎng)站信息；根據(jù)所述網(wǎng)站信息匹配采集任務(wù)；根據(jù)所述采集任務(wù)匹配采集方案；根據(jù)所述采集方案合并最優(yōu)采集方案；根據(jù)所述最優(yōu)采集方案生成采集項(xiàng)；將采集項(xiàng)推入隊(duì)列中，采集服務(wù)從隊(duì)列中獲取采集項(xiàng)，執(zhí)行具體的采集操作，獲取采集的數(shù)據(jù)。本申請(qǐng)以方案為最小粒度的采集項(xiàng)，并對(duì)相同采集方案，按采集頻率做了合并，將大大節(jié)省采集資源。