一種蜘蛛調(diào)度中心采集動(dòng)態(tài)調(diào)整算法

基本信息

申請(qǐng)?zhí)?/td> CN201210414966.0 申請(qǐng)日 -
公開（公告）號(hào) CN103778165A 公開（公告）日 2014-05-07
申請(qǐng)公布號(hào) CN103778165A 申請(qǐng)公布日 2014-05-07
分類號(hào) G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 李旭日 申請(qǐng)（專利權(quán)）人 廣州市邦富軟件有限公司
代理機(jī)構(gòu) - 代理人 -
地址 510635 廣東省廣州市天河區(qū)天河軟件園高塘新建區(qū)廣州互聯(lián)網(wǎng)產(chǎn)業(yè)園1號(hào)樓第五層A501-A510房
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種蜘蛛調(diào)度中心采集動(dòng)態(tài)調(diào)整算法，該算法主要從兩個(gè)方面入手：一是在蜘蛛的運(yùn)行過(guò)程中自動(dòng)的根據(jù)采集到的數(shù)據(jù)對(duì)任務(wù)的采集間隔進(jìn)行動(dòng)態(tài)調(diào)整，以達(dá)到運(yùn)行時(shí)間越長(zhǎng)，性能越優(yōu)；二是通過(guò)分析蜘蛛的采集日志，挖掘數(shù)據(jù)量采集最大的時(shí)間段，對(duì)該時(shí)間段在任務(wù)配置中進(jìn)行重點(diǎn)照顧；任務(wù)調(diào)度中有兩個(gè)重要參數(shù)：采集間隔、重點(diǎn)更新時(shí)間段；無(wú)需人工干預(yù)，根據(jù)不同網(wǎng)站的更新頻率以及更新時(shí)間段自動(dòng)適應(yīng)。達(dá)到采集最大化效率的目的。