一種基于大數(shù)據(jù)的網(wǎng)頁資產(chǎn)指紋標(biāo)簽識(shí)別與發(fā)現(xiàn)方法

基本信息

申請?zhí)?/td> CN202110611576.1 申請日 -
公開（公告）號 CN113259467A 公開（公告）日 2021-08-13
申請公布號 CN113259467A 申請公布日 2021-08-13
分類號 H04L29/08（2006.01）I;H04L12/26（2006.01）I;G06F16/182（2019.01）I;G06F16/23（2019.01）I;G06F16/2458（2019.01）I 分類 電通信技術(shù);
發(fā)明人 武斐;管越;虞雁群;吳艷;單易;劉彥伸;郭銀鋒 申請（專利權(quán)）人 浙江御安信息技術(shù)有限公司
代理機(jī)構(gòu) 杭州中港知識(shí)產(chǎn)權(quán)代理有限公司 代理人 施建勇
地址 310000浙江省杭州市拱墅區(qū)石祥路242號2幢403室
法律狀態(tài) -

摘要

摘要 一種基于大數(shù)據(jù)的網(wǎng)頁資產(chǎn)指紋標(biāo)簽識(shí)別與發(fā)現(xiàn)方法，屬于數(shù)據(jù)信息傳輸技術(shù)領(lǐng)域，包括以下步驟：步驟S1，選擇一個(gè)要掃描的目標(biāo)IP；步驟S2，對目標(biāo)IP進(jìn)行掃描，確保目標(biāo)IP存活；步驟S3，解析資產(chǎn)詳情；步驟S4，解析網(wǎng)頁資產(chǎn)；步驟S5，將步驟S3中的資產(chǎn)詳情和步驟S4中的網(wǎng)頁資產(chǎn)合并整理成資產(chǎn)數(shù)據(jù)集，并將資產(chǎn)數(shù)據(jù)集均存儲(chǔ)在MySQL中和ElasticSearch中；步驟S6，通過Flume將ElasticSearch中存儲(chǔ)的網(wǎng)頁資產(chǎn)傳輸?shù)紿DFS中；步驟S7，利用Hive對Flume提取到HDFS的數(shù)據(jù)進(jìn)行分析計(jì)算；步驟S8，將定義為新指紋標(biāo)簽的數(shù)據(jù)追加到MongoDB指紋標(biāo)簽庫中。本方案考慮結(jié)合大數(shù)據(jù)技術(shù)對大量的資產(chǎn)數(shù)據(jù)進(jìn)行梳理剖析，補(bǔ)充現(xiàn)有的資產(chǎn)指紋標(biāo)簽庫，幫助企業(yè)和組織更全面更及時(shí)的對網(wǎng)頁資產(chǎn)進(jìn)行識(shí)別與管理。