一種混合分詞方法

基本信息

申請(qǐng)?zhí)?/td> CN201811479085.0 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN109657235A 公開(kāi)（公告）日 2019-04-19
申請(qǐng)公布號(hào) CN109657235A 申請(qǐng)公布日 2019-04-19
分類號(hào) G06F17/27（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 張文斌; 劉洋 申請(qǐng)（專利權(quán)）人 云孚科技（北京）有限公司
代理機(jī)構(gòu) 北京世譽(yù)鑫誠(chéng)專利代理事務(wù)所（普通合伙） 代理人 孫國(guó)棟
地址 100085 北京市海淀區(qū)上地信息路2號(hào)（北京實(shí)創(chuàng)高科技發(fā)展總公司2-2號(hào)D棟1-8層）一層D100-0705室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)的混合分詞方法，涉及語(yǔ)義分析技術(shù)領(lǐng)域，利用經(jīng)訓(xùn)練數(shù)據(jù)訓(xùn)練過(guò)的語(yǔ)言模型對(duì)語(yǔ)句進(jìn)行標(biāo)注，得到語(yǔ)句各個(gè)詞的標(biāo)簽序列，初始化一個(gè)詞組序列，依次對(duì)標(biāo)簽序列進(jìn)行解碼，根據(jù)解碼結(jié)果，對(duì)語(yǔ)句進(jìn)行分詞，得到分詞結(jié)果，實(shí)現(xiàn)了自動(dòng)對(duì)語(yǔ)句內(nèi)的所有語(yǔ)言進(jìn)行分詞，節(jié)省了人工成本、分詞效率較高，解決了現(xiàn)有技術(shù)存在的不能對(duì)對(duì)語(yǔ)句內(nèi)的所有語(yǔ)言進(jìn)行分詞，需要通過(guò)人工去分詞而導(dǎo)致的人工成本高及分詞效率低的缺陷。