一種詞向量的訓(xùn)練方法和裝置

基本信息

申請(qǐng)?zhí)?/td> CN201610179115.0 申請(qǐng)日 -
公開（公告）號(hào) CN105786782B 公開（公告）日 2018-10-19
申請(qǐng)公布號(hào) CN105786782B 申請(qǐng)公布日 2018-10-19
分類號(hào) G06F17/22;G06F17/27;G06F17/30 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 邢寧;劉明榮;許靜芳;常曉夫;王曉偉 申請(qǐng)（專利權(quán)）人 北京搜狗信息服務(wù)有限公司
代理機(jī)構(gòu) 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 代理人 北京搜狗信息服務(wù)有限公司
地址 100084 北京市海淀區(qū)中關(guān)村東路1號(hào)院9號(hào)樓搜狐網(wǎng)絡(luò)大廈9層02房間
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種詞向量的訓(xùn)練方法和裝置，其中，所述方法包括：抓取互聯(lián)網(wǎng)網(wǎng)頁，獲取訓(xùn)練語料，保存在語料庫中；對(duì)語料庫中的每個(gè)訓(xùn)練語料分別作分詞處理，得到每個(gè)訓(xùn)練語料對(duì)應(yīng)的有序詞集合；根據(jù)預(yù)先收集的用戶查詢?nèi)罩緲?gòu)建詞表；將所述語料庫中保存的各訓(xùn)練語料分發(fā)至分布式詞向量學(xué)習(xí)模型中的各節(jié)點(diǎn)；配置所述分布式詞向量學(xué)習(xí)模型對(duì)所述詞表中的各詞進(jìn)行周期性的詞向量訓(xùn)練，得到所述詞表中各詞對(duì)應(yīng)的詞向量。本發(fā)明提供了一種詞向量的訓(xùn)練方法和裝置，使得訓(xùn)練得到的詞向量能夠很好地適用于搜索業(yè)務(wù)中，并且能夠?qū)崿F(xiàn)快速迭代的高質(zhì)量詞向量的訓(xùn)練。