一種漸進式的深度學習模型的超參數(shù)尋優(yōu)方法

基本信息

申請?zhí)?/td> CN202111002372.4 申請日 -
公開（公告）號 CN113780575A 公開（公告）日 2021-12-10
申請公布號 CN113780575A 申請公布日 2021-12-10
分類號 G06N20/00（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 都衛(wèi)東;方志斌;王巖松;和江鎮(zhèn);張中信;吳健雄 申請（專利權）人 征圖智能科技（江蘇）有限公司
代理機構 常州品益專利代理事務所（普通合伙） 代理人 王涵江
地址 211100江蘇省南京市江寧區(qū)東吉大道1號（江寧開發(fā)區(qū)）
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種漸進式的深度學習模型的超參數(shù)尋優(yōu)方法，包括：步驟一：生成多個不同的深度學習模型，并從超參數(shù)空間中為每一個模型選取一組超參數(shù)；步驟二：在訓練集上訓練每一個模型一定的代數(shù)，步驟三：對模型按照性能的高低從高到低進行排序；采用逐次減半的方法，保留性能排名50％之前的模型；步驟四：在保留的模型中選取部分模型對模型的超參數(shù)進行擾動；步驟五：繼續(xù)在訓練集上訓練每一個模型一定的代數(shù)，步驟六：判斷是否滿足最大迭代次數(shù)，如是則保存最優(yōu)的模型并終止訓練至結束。采用這種逐次減半的方式訓練的超參數(shù)尋優(yōu)方法,有利于使用更多的資源尋優(yōu)表現(xiàn)優(yōu)異的超參數(shù)，減少了相似模型的重復訓練，使模型得到更優(yōu)的性能。