文本壓縮方法和裝置

基本信息

申請(qǐng)?zhí)?/td> CN201010586545.7 申請(qǐng)日 -
公開（公告）號(hào) CN102567322B 公開（公告）日 2015-04-01
申請(qǐng)公布號(hào) CN102567322B 申請(qǐng)公布日 2015-04-01
分類號(hào) G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 仇睿恒;胡薇 申請(qǐng)（專利權(quán)）人 北京北大方正技術(shù)研究院有限公司
代理機(jī)構(gòu) 北京天昊聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 代理人 北京大學(xué);北大方正集團(tuán)有限公司;北京北大方正技術(shù)研究院有限公司
地址 100871 北京市海淀區(qū)頤和園路5號(hào)
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種適用于中文等非拉丁語種文本的壓縮方法，包括：從待壓縮的文本中篩選滿足預(yù)定詞長和出現(xiàn)頻率條件的詞；根據(jù)篩選詞的出現(xiàn)頻率對(duì)篩選詞分配編碼；利用分配的編碼對(duì)所述文本進(jìn)行壓縮。相應(yīng)地，提供一種文本壓縮裝置。本發(fā)明以詞為單位提取待壓縮文本中的備選詞，并根據(jù)備選詞的出現(xiàn)頻率對(duì)備選詞進(jìn)行篩選，以僅保留出現(xiàn)頻率相對(duì)大的詞，從而有效提取中文等非拉丁語種文本數(shù)據(jù)中的高頻擴(kuò)展詞，縮小字典中被編碼的詞語的總數(shù)，并且通過利用這些編碼對(duì)中文等非拉丁語種文本進(jìn)行壓縮，獲得較高的壓縮率。