基于Spark GraphX的社交網(wǎng)絡分析系統(tǒng)及其實現(xiàn)方法

基本信息

申請?zhí)?/td> CN201911297714.2 申請日 -
公開(公告)號 CN110727836A 公開(公告)日 2020-01-24
申請公布號 CN110727836A 申請公布日 2020-01-24
分類號 G06F16/901;G06F16/906;G06F16/182;G06Q50/00 分類 計算;推算;計數(shù);
發(fā)明人 閻星娥;楊昆;嚴榮明;張林;袁勇斌;余祥慧;張明星;謝俊 申請(專利權)人 南京華飛數(shù)據(jù)技術有限公司
代理機構 南京品智知識產(chǎn)權代理事務所(普通合伙) 代理人 南京華飛數(shù)據(jù)技術有限公司
地址 210019 江蘇省南京市建鄴區(qū)嘉陵江東街18號國家廣告產(chǎn)業(yè)園4棟12層
法律狀態(tài) -

摘要

摘要 本發(fā)明基于Spark GraphX的社交網(wǎng)絡分析系統(tǒng)及其實現(xiàn)方法,尤其涉及一種基于Spark GraphX實現(xiàn)對指定數(shù)據(jù)進行社交網(wǎng)絡關系圖計算系統(tǒng)。模型,包括依次相連的數(shù)據(jù)存儲模塊、分析請求解析模塊、圖計算模塊和圖數(shù)據(jù)庫存儲模塊。整個算法實現(xiàn)流程包括對輸入數(shù)據(jù)以自定義的文件格式入庫存儲到Hdfs;客戶端提交分析請求,服務端解析后提交到圖計算模塊;最終分析結果存儲到圖數(shù)據(jù)庫。該算法適用于社交網(wǎng)絡分析模型的開發(fā);基于Spark GraphX通過復雜圖計算,可以描繪出社交網(wǎng)絡關系的部分特征,挖掘出指定特征的社團。解決了海量數(shù)據(jù)圖計算的問題。