一種基于神經(jīng)網(wǎng)絡(luò)模型和規(guī)則結(jié)合的冗余表達(dá)去除方法

基本信息

申請(qǐng)?zhí)?/td> CN201910957412.7 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN110807312A 公開(kāi)（公告）日 2020-02-18
申請(qǐng)公布號(hào) CN110807312A 申請(qǐng)公布日 2020-02-18
分類號(hào) G06F40/211;G06F40/232;G06F40/284 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 楊理想;張僑;王銀瑞;陳振平 申請(qǐng)（專利權(quán)）人 南京攝星智能科技有限公司
代理機(jī)構(gòu) 南京中律知識(shí)產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 南京攝星智能科技有限公司
地址 210000 江蘇省南京市經(jīng)濟(jì)技術(shù)開(kāi)發(fā)區(qū)興智路6號(hào)興智科技園C棟1211室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了基于神經(jīng)網(wǎng)絡(luò)模型和規(guī)則結(jié)合的冗余表達(dá)去除方法，包括重復(fù)表達(dá)部分、語(yǔ)氣詞部分和模型識(shí)別部分三部分的冗余去除。相比傳統(tǒng)單一使用規(guī)則去除冗余表達(dá)的方法，有如下優(yōu)點(diǎn)：(1)可以去除冗余的長(zhǎng)句，規(guī)則對(duì)于較長(zhǎng)的冗余的句子不能去除，本發(fā)明訓(xùn)練的模型可以實(shí)現(xiàn)去除；(2)支持錯(cuò)別字去除并能去除到規(guī)則無(wú)法窮舉的詞匯，傳統(tǒng)的規(guī)則無(wú)法統(tǒng)計(jì)到所有的冗余詞匯，本發(fā)明通過(guò)大量人工標(biāo)注的數(shù)據(jù)，經(jīng)過(guò)訓(xùn)練得到的模型可以去除掉規(guī)則沒(méi)有列舉到的詞語(yǔ)；(3)模型去除冗余更智能，本發(fā)明的訓(xùn)練模型在去除冗余表達(dá)詞語(yǔ)的時(shí)候會(huì)判斷去除該詞語(yǔ)是否會(huì)使句子不通順，如果使得句子不通順，則不去除，相比規(guī)則去除方法，更加智能并保持語(yǔ)義完整。