低算力要求的神經(jīng)網(wǎng)絡(luò)分塊優(yōu)化方法及分塊優(yōu)化器

基本信息

申請(qǐng)?zhí)?/td> CN201810273656.9 申請(qǐng)日 -
公開（公告）號(hào) CN108764483B 公開（公告）日 2021-05-18
申請(qǐng)公布號(hào) CN108764483B 申請(qǐng)公布日 2021-05-18
分類號(hào) G06N20/00;G06N3/04 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 馬瑞 申請(qǐng)（專利權(quán)）人 杭州必優(yōu)波浪科技有限公司
代理機(jī)構(gòu) 廣州市越秀區(qū)哲力專利商標(biāo)事務(wù)所（普通合伙） 代理人 胡擁軍;糜婧
地址 310000 浙江省杭州市余杭區(qū)五常街道高教路970-1號(hào)7幢6樓617室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了低算力要求的神經(jīng)網(wǎng)絡(luò)分塊優(yōu)化方法及分塊優(yōu)化器，該方法包括：分解隱層拓?fù)?，將隱層參數(shù)形成的向量排列組成超平面；在超平面的每個(gè)位置添加數(shù)據(jù)；將超平面平分為二分別訓(xùn)練，選擇變化程度較高的區(qū)域判斷是否滿足系統(tǒng)算力要求，多次重復(fù)直到某次分塊后滿足系統(tǒng)算力要求；使用訓(xùn)練數(shù)據(jù)集對(duì)篩選出的區(qū)域進(jìn)行訓(xùn)練，若lossfunction滿足系統(tǒng)要求結(jié)束訓(xùn)練；反之則組成新的待訓(xùn)練空間繼續(xù)訓(xùn)練。本發(fā)明實(shí)施例在算力不足的應(yīng)用場(chǎng)景下，基于相對(duì)少量的樣本數(shù)據(jù)，通過搜尋隱層參數(shù)超平面上對(duì)lossfunction影響較大的區(qū)域并對(duì)其進(jìn)行針對(duì)性的調(diào)優(yōu)，用較小的運(yùn)算量來快速完成一套滿足基本要求的神經(jīng)網(wǎng)絡(luò)，且樣本數(shù)據(jù)可以多次利用。