爬蟲調(diào)度管理平臺(tái)通信方法和爬蟲調(diào)度管理平臺(tái)系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202011302154.8 申請(qǐng)日 -
公開（公告）號(hào) CN112416550A 公開（公告）日 2021-02-26
申請(qǐng)公布號(hào) CN112416550A 申請(qǐng)公布日 2021-02-26
分類號(hào) G06F9/48(2006.01)I;G06F9/54(2006.01)I;G06F16/951(2019.01)I;G06F11/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 劉明東 申請(qǐng)（專利權(quán)）人 廣州探途網(wǎng)絡(luò)技術(shù)有限公司
代理機(jī)構(gòu) 北京中知君達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 代理人 李辰;黃啟法
地址 510000廣東省廣州市海珠區(qū)新港東路70號(hào)之二自編004號(hào)房（僅限辦公）
法律狀態(tài) -

摘要

摘要 本申請(qǐng)是關(guān)于爬蟲調(diào)度管理平臺(tái)通信方法和爬蟲調(diào)度管理平臺(tái)系統(tǒng)。該方法由負(fù)責(zé)下達(dá)和發(fā)送爬蟲任務(wù)的主節(jié)點(diǎn)、負(fù)責(zé)執(zhí)行爬蟲任務(wù)的工作節(jié)點(diǎn)和負(fù)責(zé)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)執(zhí)行，工作節(jié)點(diǎn)主機(jī)發(fā)送包含本機(jī)唯一標(biāo)識(shí)信息到數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)；數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)根據(jù)唯一標(biāo)識(shí)信息在本地?cái)?shù)據(jù)庫(kù)中查找對(duì)應(yīng)的工作節(jié)點(diǎn)信息；確認(rèn)本地?cái)?shù)據(jù)庫(kù)中沒(méi)有對(duì)應(yīng)的工作節(jié)點(diǎn)信息，則將工作節(jié)點(diǎn)信息加入到本地?cái)?shù)據(jù)庫(kù)中；將工作節(jié)點(diǎn)信息發(fā)送至主節(jié)點(diǎn)以供主節(jié)點(diǎn)使用工作節(jié)點(diǎn)信息與工作節(jié)點(diǎn)進(jìn)行通信。本實(shí)施例通過(guò)工作節(jié)點(diǎn)主動(dòng)將自身信息存儲(chǔ)于數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的方法，確保工作節(jié)點(diǎn)能夠成功注冊(cè)，進(jìn)而保證了主節(jié)點(diǎn)與工作節(jié)點(diǎn)的通信穩(wěn)定性。??