基于開源框架進行爬蟲檢索及大數(shù)據(jù)智能推薦優(yōu)化處理的方法

基本信息

申請?zhí)?/td> CN202010222449.8 申請日 -
公開（公告）號 CN111428112A 公開（公告）日 2020-07-17
申請公布號 CN111428112A 申請公布日 2020-07-17
分類號 G06F16/951;G06F16/9535;G06F16/33;G06F16/335;G06F40/289 分類 -
發(fā)明人 王璐;朱廣文;張建民;魏曉泉 申請（專利權(quán)）人 上海浩方信息技術(shù)有限公司
代理機構(gòu) 上海智信專利代理有限公司 代理人 上海浩方信息技術(shù)有限公司
地址 201203 上海市浦東新區(qū)中國（上海）自由貿(mào)易試驗區(qū)郭守敬路498號14幢22301－980座
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于開源框架進行爬蟲檢索及大數(shù)據(jù)智能推薦優(yōu)化處理的方法，包括通過開源框架進行資源爬蟲，獲取所需的目標(biāo)業(yè)務(wù)資源；根據(jù)NPL分詞技術(shù)對獲取的目標(biāo)業(yè)務(wù)資源進行分詞，實現(xiàn)資訊分詞匹配；根據(jù)預(yù)設(shè)關(guān)鍵字、領(lǐng)域和權(quán)重值，進行資訊篩選并推薦。采用了本發(fā)明的基于開源框架進行爬蟲檢索及大數(shù)據(jù)智能推薦優(yōu)化處理的方法，提高目標(biāo)用戶的網(wǎng)絡(luò)資源獲取能力及智能推薦算法功能，通過開源HttpClient技術(shù)與python算法包相結(jié)合實現(xiàn)網(wǎng)絡(luò)爬蟲技術(shù)，大大降低甚至直接省去部分人工投入及時間成本，且爬蟲資源管理有較高的靈活性及可擴展性；為目標(biāo)用戶執(zhí)行智能推薦算法調(diào)度，實現(xiàn)按需過濾并篩選出有效資訊。