一種基于圖形處理器的深度神經(jīng)網(wǎng)絡(luò)多模型并行推理方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202111354003.1 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN114004730A | 公開(kāi)（公告）日 | 2022-02-01 |
| 申請(qǐng)公布號(hào) | CN114004730A | 申請(qǐng)公布日 | 2022-02-01 |
| 分類(lèi)號(hào) | G06T1/20（2006.01）I;G06T1/40（2006.01）I;G06T1/60（2006.01）I;G06F9/50（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06N5/04（2006.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 張楠;李明喜 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 奧特貝睿（天津）科技有限公司 |
| 代理機(jī)構(gòu) | 天津企興智財(cái)知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 陳雅潔 |
| 地址 | 300300天津市東麗區(qū)經(jīng)濟(jì)技術(shù)開(kāi)發(fā)區(qū)五經(jīng)路1號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提供了一種基于圖形處理器的深度神經(jīng)網(wǎng)絡(luò)多模型并行推理方法，包括以下步驟：S1、根據(jù)待推理的網(wǎng)絡(luò)模型構(gòu)建多個(gè)對(duì)應(yīng)的推理引擎；S2、將推理引擎與對(duì)應(yīng)的輸入數(shù)據(jù)地址和GPU設(shè)備的Stream對(duì)象進(jìn)行綁定；S3、根據(jù)多線(xiàn)程推理構(gòu)建所需的推理分組，每個(gè)推理分組均對(duì)應(yīng)一個(gè)CPU線(xiàn)程對(duì)象；S4、將每個(gè)推理分組與對(duì)應(yīng)的CPU線(xiàn)程對(duì)象進(jìn)行綁定；S5、將推理引擎添加至推理分組中；S6、構(gòu)建推理管理器；S7、將推理分組添加至推理管理器中；S8、推理管理器發(fā)起多線(xiàn)程并行推理操作。本發(fā)明能夠?qū)崿F(xiàn)多模型推理過(guò)程中的數(shù)據(jù)共享、能夠更加高效的發(fā)揮GPU的并行處理能力和有效進(jìn)行多模型推理計(jì)算過(guò)程中的線(xiàn)程同步操作。 |
