基于python實現(xiàn)的多模型融合并行推理方法、裝置及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110392000.0 申請日 -
公開（公告）號 CN112966825A 公開（公告）日 2021-06-15
申請公布號 CN112966825A 申請公布日 2021-06-15
分類號 G06N5/04（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 王璐威;吳彰鵬 申請（專利權）人 杭州欣禾圣世科技有限公司
代理機構 杭州創(chuàng)信知識產(chǎn)權代理有限公司 代理人 楊燕霞
地址 311100浙江省杭州市余杭區(qū)余杭街道文一西路1818-2號6幢406室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種基于python實現(xiàn)的多模型融合并行推理方法，包括獲取參與推理的多個異構模型，將多個異構模型按照預設規(guī)則轉換成標準子模型；將每個子模型的結構和權重字典與總模型的每條分支相互對應，基于每個子模型的結構和權重字典將每個標準子模型融合成總模型；將總模型加載至GPU中，并對融合后的總模型進行推理驗證；定義總模型的輸出為每個子模型的輸出組成的列表，通過列表索引將總模型的推理結果映射回子模型。推理效率高，相較于多進程、多線程并行推理方法，本發(fā)明只在一個進程中運行，沒有進程間、線程間的調(diào)度問題，效率更高。節(jié)約存儲資源，將多個子模型融合為一個總模型，相較于多進程方法，本發(fā)明只需一份輸入數(shù)據(jù)，節(jié)約了存儲資源。