基于統(tǒng)計的中文分詞方法、系統(tǒng)、裝置和存儲介質(zhì)

基本信息

申請?zhí)?/td> CN201911392455.1 申請日 -
公開（公告）號 CN111160024A 公開（公告）日 2020-05-15
申請公布號 CN111160024A 申請公布日 2020-05-15
分類號 G06F40/284 分類 計算；推算；計數(shù);
發(fā)明人 寇永嫻;陳惠芳;藍飄;胡志樂;李娟 申請（專利權）人 廣州廣電運通信息科技有限公司
代理機構 廣州嘉權專利商標事務所有限公司 代理人 廣州廣電運通金融電子股份有限公司;廣州廣電運通信息科技有限公司
地址 510663 廣東省廣州市廣州高新技術產(chǎn)業(yè)開發(fā)區(qū)科學城科林路9號研究院辦公樓
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于統(tǒng)計的中文分詞方法、系統(tǒng)、裝置和存儲介質(zhì)，其中方法包括：獲取目標文本；根據(jù)預置語料庫對目標文本進行分詞處理，識別出第一概率和第二概率；結合第一概率與第二概率對目標文本所含的詞進行逆向匹配，輸出若干個分詞路徑，各所述路徑含若干個分詞節(jié)點；結合維特比算法和預置比例因子對各所述分詞路徑上各分詞節(jié)點的詞進行逆向遞歸處理，獲取最優(yōu)分詞序列；根據(jù)最優(yōu)分詞序列生成分詞結果，從而提高中文分詞處理的分詞準確率，并通過預置比例因此降低計算量，降低成本。