適用于多用戶自定義字典的中文分詞詞頻方法及裝置

基本信息

申請?zhí)?/td> CN202110736452.6 申請日 -
公開（公告）號 CN113486660A 公開（公告）日 2021-10-08
申請公布號 CN113486660A 申請公布日 2021-10-08
分類號 G06F40/289（2020.01）I;G06F40/216（2020.01）I;G06F16/33（2019.01）I 分類 計算；推算；計數;
發(fā)明人 王平;潘成;趙鵬 申請（專利權）人 上海眾言網絡科技有限公司
代理機構 北京知果之信知識產權代理有限公司 代理人 卜榮麗;李志剛
地址 200030上海市徐匯區(qū)宜山路700號B2棟22層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種適用于多用戶自定義字典的中文分詞詞頻方法及裝置，其中方法包括：初始化hanlp分詞服務；采用Aho?Corasick算法，根據第一文本和多用戶自定義字典生成各用戶自定義字典詞頻結果；根據第一文本和多用戶自定義字典，通過hanlp分詞服務生成第二文本分詞詞頻結果；合并所述各用戶自定義字典詞頻結果和所述第二文本分詞詞頻結果，得到最終中文分詞詞頻結果。本發(fā)明通過Aho?Corasick算法快速定位用戶自定義字典在文本中的位置，并將原始文本替換為空格字符的方法，對于多用戶自定義字典的分詞服務，只需要一次初始化操作，即可實現(xiàn)高并發(fā)地支持多個用戶的自定義字典的高性能分詞詞頻服務。