深度學(xué)習(xí)工程師做什么

深度學(xué)習(xí)已經(jīng)改變了很多行業(yè)，深度學(xué)習(xí)工程師已經(jīng)是不折不扣的高薪職業(yè)，但是也有越來(lái)越內(nèi)卷的趨勢(shì)，以前只要求會(huì)訓(xùn)練模型就可以了，現(xiàn)在多數(shù)深度學(xué)習(xí)工程師崗位都要求掌握模型訓(xùn)練與模型部署。 可以毫不夸張的說(shuō)，以后只有既會(huì)訓(xùn)練，又會(huì)部署而且是會(huì)C++部署模型的深度學(xué)習(xí)工程師才會(huì)繼續(xù)高薪之路，否則按照這個(gè)內(nèi)卷趨勢(shì)，只會(huì)訓(xùn)練模型，不會(huì)部署模型的深度學(xué)習(xí)工程師必然會(huì)受到后來(lái)開(kāi)發(fā)者越來(lái)越多的挑戰(zhàn)，前期積累的優(yōu)勢(shì)蕩然無(wú)存。所以掌握從數(shù)據(jù)標(biāo)注、到模型訓(xùn)練、到模型部署技能是深度學(xué)習(xí)工程師基本要求，也是未來(lái)的必然趨勢(shì)。

深度學(xué)習(xí)工程化步驟

深度學(xué)習(xí)工程落地分為兩個(gè)主要階段，分別是數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、模型部署三個(gè)主要階段。

深度學(xué)習(xí)模型部署場(chǎng)景

深度學(xué)習(xí)模型部署場(chǎng)景主要包括：

01

云部署場(chǎng)景

主要是基于云服務(wù)器與分布式服務(wù)提供，企業(yè)需要支付云服務(wù)器算力費(fèi)用與存儲(chǔ)費(fèi)用。優(yōu)點(diǎn)是便于擴(kuò)展，方便在多個(gè)位置與節(jié)點(diǎn)快速部署使用模型算法；缺點(diǎn)是與邊緣部署相比，延時(shí)比較高，可靠性比較低，數(shù)據(jù)安全受到挑戰(zhàn)，沒(méi)有充分利用邊緣設(shè)備算力。

02

邊緣（PC端側(cè)）部署場(chǎng)景

高性能應(yīng)用的理想選擇、高度可定制（使用與應(yīng)用程序相關(guān)的部件構(gòu)建）、靈活的定價(jià)（因?yàn)榭梢愿鶕?jù)應(yīng)用選擇組件）。優(yōu)點(diǎn)是成本可控，數(shù)據(jù)安全有保證，低延時(shí)高可靠，因此在機(jī)器視覺(jué)、安防監(jiān)控等領(lǐng)域都大量采用該方案，依靠工控機(jī)+顯卡的方式提供算力實(shí)現(xiàn)模型部署，支持缺陷檢測(cè)、安防監(jiān)控、自動(dòng)化生產(chǎn)等。缺點(diǎn)是對(duì)一些成本特別敏感的行業(yè)依然無(wú)法大量采用該方案。

03

邊緣（ARM、FPGA和推理板卡，智能相機(jī)）

邊緣與端側(cè)部署一個(gè)很重要的場(chǎng)景，典型的就是各種人工智能盒子，包括英特爾的NUC盒子，最新推出AlxBorad板卡，英偉達(dá)的Jetson系列板卡，RK系列的板卡、樹(shù)莓派等，已經(jīng)基于他們實(shí)現(xiàn)的各種智能設(shè)備。他們的優(yōu)點(diǎn)是低成本，低功耗、顯著節(jié)省外圍硬件算力，同時(shí)高可靠性，安全，適用于對(duì)算力要求不是很?chē)?yán)苛的場(chǎng)景，支持各種輕量化的模型部署。缺點(diǎn)是對(duì)深度學(xué)習(xí)開(kāi)發(fā)者要求較高，要求對(duì)模型進(jìn)行量化，各個(gè)板卡支持的模型部署框架不同，工具鏈軟件也不一樣

深度學(xué)習(xí)主流部署框架

深度學(xué)習(xí)開(kāi)發(fā)者至少應(yīng)該掌握一種深度學(xué)習(xí)模型部署框架，當(dāng)前深度學(xué)習(xí)模型部署主要有OpenVINO、TensorRT、ONNXRUNTIME這三個(gè)當(dāng)前主流的框架。 OpenVINO來(lái)自英特爾公司，當(dāng)前最新版本是OpenVINO2023.1

TensorRT來(lái)自英偉達(dá)公司，當(dāng)前最新版本是TensorRT8.6

ONNXRUNTIME來(lái)自微軟，當(dāng)前最新版本是1.15.x

如何選擇

英特爾CPU/GPU上模型加速與推理最佳選擇是OpenVINO

英偉達(dá)GPU上模型加速與推理最佳選擇TensorRT

兼容不同硬件廠家平臺(tái)模型算子支持度高，兼容性強(qiáng)最佳選擇是ONNXRUNTIME

如何學(xué)習(xí)

掌握三種主流的深度學(xué)習(xí)模型部署框架，實(shí)現(xiàn)模型在CPU、GPU、AMD等不同平臺(tái)硬件上加速推理最佳性能。OpenCV學(xué)堂已經(jīng)推出OpenVINO、TensorRT、ONNXRUNTIME深度學(xué)習(xí)部署系統(tǒng)化學(xué)習(xí)路線圖?！肮び破涫拢叵壤淦鳌?，做深度學(xué)習(xí)工程師，學(xué)完部署再打工，一切都來(lái)得及，現(xiàn)在開(kāi)始剛剛好！

根據(jù)需要自主選擇深度學(xué)習(xí)模型部署框架學(xué)習(xí)，均支持C++與Python SDK 代碼演示，支持對(duì)象檢測(cè)，實(shí)例分割，語(yǔ)義分割等主流模型部署與模型加速推理技巧。深度學(xué)習(xí)開(kāi)發(fā)者根據(jù)自己需要選擇想要的深度學(xué)習(xí)模型部署框架，然后學(xué)習(xí)即可。