YOLOv9模型是YOLO系列實(shí)時(shí)目標(biāo)檢測(cè)算法中的最新版本，代表著該系列在準(zhǔn)確性、速度和效率方面的又一次重大飛躍。它通過引入先進(jìn)的深度學(xué)習(xí)技術(shù)和創(chuàng)新的架構(gòu)設(shè)計(jì)，如通用ELAN（GELAN）和可編程梯度信息（PGI），顯著提升了物體檢測(cè)的性能。在本文中，我們將結(jié)合OpenVINO C# API使用最新發(fā)布的OpenVINO 2024.0部署YOLOv9目標(biāo)檢測(cè)和實(shí)例分割模型。

1. 前言

1.1

OpenVINO C# API

英特爾發(fā)行版 OpenVINO 工具套件基于 oneAPI 而開發(fā)，可以加快高性能計(jì)算機(jī)視覺和深度學(xué)習(xí)視覺應(yīng)用開發(fā)速度工具套件，適用于從邊緣到云的各種英特爾平臺(tái)上，幫助用戶更快地將更準(zhǔn)確的真實(shí)世界結(jié)果部署到生產(chǎn)系統(tǒng)中。通過簡(jiǎn)化的開發(fā)工作流程，OpenVINO 可賦能開發(fā)者在現(xiàn)實(shí)世界中部署高性能應(yīng)用程序和算法。

2024年3月7日，英特爾發(fā)布了開源OpenVINO 2024.0工具包，用于在各種硬件上優(yōu)化和部署人工智能推理。OpenVINO是英特爾出色的開源AI工具包，不僅可以在x86_64 CPU上加速AI推斷，還可以在ARM CPU和其他架構(gòu)、英特爾集成顯卡和獨(dú)立顯卡等硬件上加速AI推斷，包括最近推出的NPU插件，用于利用新酷睿超 “Meteor Lake”系統(tǒng)芯片中的英特爾神經(jīng)處理單元。OpenVINO 2024.0更注重生成式人工智能（GenAI），為TensorFlow句子編碼模型提供了更好的開箱即用體驗(yàn)，支持專家混合（MoE）。同時(shí)還提高了LLM的INT4權(quán)重壓縮質(zhì)量，增強(qiáng)了LLM在英特爾CPU上的性能，簡(jiǎn)化了Hugging Face模型的優(yōu)化和轉(zhuǎn)換，并改進(jìn)了其他Hugging Face集成。

OpenVINO C# API是一個(gè)OpenVINO的.Net wrapper，應(yīng)用最新的OpenVINO庫開發(fā)，通過OpenVINO C API實(shí)現(xiàn).Net對(duì)OpenVINO Runtime調(diào)用，使用習(xí)慣與OpenVINO C++ API一致。OpenVINO C# API由于是基于OpenVINO開發(fā)，所支持的平臺(tái)與OpenVINO完全一致，具體信息可以參考OpenVINO。通過使用OpenVINO C# API，可以在.NET、.NET Framework等框架下使用C#語言實(shí)現(xiàn)深度學(xué)習(xí)模型在指定平臺(tái)推理加速。

下表為當(dāng)前發(fā)布的OpenVINO C# API NuGet Package，支持多個(gè)目標(biāo)平臺(tái)，可以通過NuGet一鍵安裝所有依賴。

Core Managed Libraries

Native Runtime Libraries

1.2

YOLOv9

YOLOv9模型是YOLO系列實(shí)時(shí)目標(biāo)檢測(cè)算法中的最新版本，代表著該系列在準(zhǔn)確性、速度和效率方面的又一次重大飛躍。它通過引入先進(jìn)的深度學(xué)習(xí)技術(shù)和創(chuàng)新的架構(gòu)設(shè)計(jì)，如通用ELAN（GELAN）和可編程梯度信息（PGI），顯著提升了物體檢測(cè)的性能。

具體來說，YOLOv9解決了深度神經(jīng)網(wǎng)絡(luò)中信息丟失的問題，通過整合PGI和GELAN架構(gòu)，不僅增強(qiáng)了模型的學(xué)習(xí)能力，還確保了在整個(gè)檢測(cè)過程中保留關(guān)鍵信息。此外，它采用更深的網(wǎng)絡(luò)結(jié)構(gòu)以提取更豐富的特征，同時(shí)引入殘差連接和跨層連接等機(jī)制以優(yōu)化訓(xùn)練過程。為了提高模型的泛化能力并降低過擬合風(fēng)險(xiǎn)，YOLOv9還使用了正則化技術(shù)，如權(quán)重衰減和Dropout。

由于YOLOv9在模型架構(gòu)、訓(xùn)練策略以及數(shù)據(jù)處理等方面的改進(jìn)，它在COCO數(shù)據(jù)集上能夠獲得更高的AP值，顯示出其在復(fù)雜和多樣化場(chǎng)景下的卓越性能。此外，YOLOv9還注重實(shí)時(shí)性能，通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和計(jì)算效率，實(shí)現(xiàn)了在保持高性能的同時(shí)減少計(jì)算量和提高處理速度。這使得YOLOv9在實(shí)時(shí)目標(biāo)檢測(cè)任務(wù)中具有顯著優(yōu)勢(shì)，能夠滿足各種應(yīng)用場(chǎng)景的需求。

2. 模型獲取

2.1

源碼下載

YOLOv9模型可以通過源碼進(jìn)行下載，首先克隆GitHub上的源碼，輸入以下指令：

git clone https://github.com/WongKinYiu/yolov9.git
cd yolov9

2.2

配置環(huán)境

接下來安裝模型下載以及轉(zhuǎn)換環(huán)境，此處使用Anaconda進(jìn)行程序集管理，輸入以下指令創(chuàng)建一個(gè)yolov9環(huán)境：

conda create -n yolov9 python=3.10
conda activate yolov9

然后安裝yolov9模型下載以及轉(zhuǎn)換所必需的環(huán)境，輸入以下指令：

pip install -r requirements.txt
pip install openvino==2024.0.0

2.3

下載模型

首先導(dǎo)出目標(biāo)識(shí)別模型，此處以官方預(yù)訓(xùn)練模型為例，首先下載預(yù)訓(xùn)練模型文件，然后調(diào)用export.py文件導(dǎo)出ONBNX格式的模型文件，最后使用OpenVINO的模型轉(zhuǎn)換命令將模型轉(zhuǎn)為IR格式，依次輸入以下指令即可：

wget https://github.com/WongKinYiu/yolov9/releases/download/v0.1/yolov9-c.p
python export.py --weights ./yolov9-c.pt --imgsz 640 --include onnx
ovc yolov9-c.onnx

同樣的方式可以導(dǎo)出實(shí)例分割模型：

wget https://github.com/WongKinYiu/yolov9/releases/download/v0.1/gelan-c-seg.ptt
python export.py --weights ./gelan-c-seg.pt --imgsz 640 --include onnx
ovc gelan-c-seg.onnx

模型的結(jié)構(gòu)如下圖所示：

3.Yolov9項(xiàng)目配置

3.1

項(xiàng)目創(chuàng)建與環(huán)境配置

在Windows平臺(tái)開發(fā)者可以使用Visual Studio平臺(tái)開發(fā)程序，但無法跨平臺(tái)實(shí)現(xiàn)，為了實(shí)現(xiàn)跨平臺(tái)，此處采用dotnet指令進(jìn)行項(xiàng)目的創(chuàng)建和配置。

首先使用dotnet創(chuàng)建一個(gè)測(cè)試項(xiàng)目，在終端中輸入一下指令：

dotnet new console --framework net6.0 --use-program-main -o yolov9

此處以Windows平臺(tái)為例安裝項(xiàng)目依賴，首先是安裝OpenVINO C# API項(xiàng)目依賴，在命令行中輸入以下指令即可：

dotnet add package OpenVINO.CSharp.API
dotnet add package OpenVINO.runtime.win
dotnet add package OpenVINO.CSharp.API.Extensions
dotnet add package OpenVINO.CSharp.API.Extensions.OpenCvSharp

接下來安裝使用到的圖像處理庫OpenCvSharp，在命令行中輸入以下指令即可：

dotnet add package OpenCvSharp4
dotnet add package OpenCvSharp4.Extensions
dotnet add package OpenCvSharp4.runtime.win

添加完成項(xiàng)目依賴后，項(xiàng)目的配置文件如下所示：

 
  Exe
  net6.0
  enable
  enable
 
 
 
  
  
  
  
  
  
 
 

3.2

定義模型預(yù)測(cè)方法

使用OpenVINO C# API部署模型主要包括以下幾個(gè)步驟：

初始化 OpenVINO Runtime Core

讀取本地模型（將圖片數(shù)據(jù)預(yù)處理方式編譯到模型）

將模型編譯到指定設(shè)備

創(chuàng)建推理通道

處理圖像輸入數(shù)據(jù)

設(shè)置推理輸入數(shù)據(jù)

模型推理

獲取推理結(jié)果

處理結(jié)果數(shù)據(jù)

01

定義目標(biāo)檢測(cè)模型方法

按照OpenVINO C# API部署深度學(xué)習(xí)模型的步驟，編寫YOLOv9模型部署流程，在之前的項(xiàng)目里，我們已經(jīng)部署了YOLOv5~8等一系列模型，其部署流程是基本一致的，YOLOv9模型部署代碼如下所示：

static void yolov9_det(string model_path, string image_path, string device)
{
  // -------- Step 1. Initialize OpenVINO Runtime Core --------
  Core core = new Core();
  // -------- Step 2. Read inference model --------
  Model model = core.read_model(model_path);
  // -------- Step 3. Loading a model to the device --------
  CompiledModel compiled_model = core.compile_model(model, device);
  // -------- Step 4. Create an infer request --------
  InferRequest infer_request = compiled_model.create_infer_request();
  // -------- Step 5. Process input images --------
  Mat image = new Mat(image_path); // Read image by opencvsharp
  int max_image_length = image.Cols > image.Rows ? image.Cols : image.Rows;
  Mat max_image = Mat.Zeros(new OpenCvSharp.Size(max_image_length, max_image_length), MatType.CV_8UC3);
  Rect roi = new Rect(0, 0, image.Cols, image.Rows);
  image.CopyTo(new Mat(max_image, roi));
  float factor = (float)(max_image_length / 640.0);
  // -------- Step 6. Set up input data --------
  Tensor input_tensor = infer_request.get_input_tensor();
  Shape input_shape = input_tensor.get_shape();
  Mat input_mat = CvDnn.BlobFromImage(max_image, 1.0 / 255.0, new OpenCvSharp.Size(input_shape[2], input_shape[3]), 0, true, false);
  float[] input_data = new float[input_shape[1] * input_shape[2] * input_shape[3]];
  Marshal.Copy(input_mat.Ptr(0), input_data, 0, input_data.Length);
  input_tensor.set_data(input_data);
  // -------- Step 7. Do inference synchronously --------
  infer_request.infer();
  // -------- Step 8. Get infer result data --------
  start = DateTime.Now;
  Tensor output_tensor = new Tensor();
  if (model.get_outputs_size() > 1)
  {
    output_tensor = infer_request.get_output_tensor(1);
  }
  else
  {
    output_tensor = infer_request.get_output_tensor();
  }
  int output_length = (int)output_tensor.get_size();
  float[] output_data = output_tensor.get_data(output_length);
  // -------- Step 9. Process reault --------
  Mat result_data = new Mat(84, 8400, MatType.CV_32F, output_data);
  result_data = result_data.T();
  // Storage results list
  List position_boxes = new List();
  List class_ids = new List();
  List confidences = new List();
  // Preprocessing output results
  for (int i = 0; i < result_data.Rows; i++)
 ? ?{
 ? ? ? ?Mat classes_scores = new Mat(result_data, new Rect(4, i, 80, 1));
 ? ? ? ?OpenCvSharp.Point max_classId_point, min_classId_point;
 ? ? ? ?double max_score, min_score;
 ? ? ? ?// Obtain the maximum value and its position in a set of data
 ? ? ? ?Cv2.MinMaxLoc(classes_scores, out min_score, out max_score,
 ? ? ? ? ? ?out min_classId_point, out max_classId_point);
 ? ? ? ?// Confidence level between 0 ~ 1
 ? ? ? ?// Obtain identification box information
 ? ? ? ?if (max_score > 0.25)
    {
      float cx = result_data.At(i, 0);
      float cy = result_data.At(i, 1);
      float ow = result_data.At(i, 2);
      float oh = result_data.At(i, 3);
      int x = (int)((cx - 0.5 * ow) * factor);
      int y = (int)((cy - 0.5 * oh) * factor);
      int width = (int)(ow * factor);
      int height = (int)(oh * factor);
      Rect box = new Rect();
      box.X = x;
      box.Y = y;
      box.Width = width;
      box.Height = height;


      position_boxes.Add(box);
      class_ids.Add(max_classId_point.X);
      confidences.Add((float)max_score);
    }
  }
  // NMS non maximum suppression
  int[] indexes = new int[position_boxes.Count];
  CvDnn.NMSBoxes(position_boxes, confidences, 0.5f, 0.5f, out indexes);
  for (int i = 0; i < indexes.Length; i++)
 ? ?{
 ? ? ? ?int index = indexes[i];
 ? ? ? ?Cv2.Rectangle(image, position_boxes[index], new Scalar(0, 0, 255), 2, LineTypes.Link8);
 ? ? ? ?Cv2.Rectangle(image, new OpenCvSharp.Point(position_boxes[index].TopLeft.X, position_boxes[index].TopLeft.Y + 30),
 ? ? ? ? ? ?new OpenCvSharp.Point(position_boxes[index].BottomRight.X, position_boxes[index].TopLeft.Y), new Scalar(0, 255, 255), -1);
 ? ? ? ?Cv2.PutText(image, class_ids[index] + "-" + confidences[index].ToString("0.00"),
 ? ? ? ? ? ?new OpenCvSharp.Point(position_boxes[index].X, position_boxes[index].Y + 25),
 ? ? ? ? ? ?HersheyFonts.HersheySimplex, 0.8, new Scalar(0, 0, 0), 2);
 ? ?}
 ? ?string output_path = Path.Combine(Path.GetDirectoryName(Path.GetFullPath(image_path)),
 ? ? ? ?Path.GetFileNameWithoutExtension(image_path) + "_result.jpg");
 ? ?Cv2.ImWrite(output_path, image);
 ? ?Slog.INFO("The result save to " + output_path);
 ? ?Cv2.ImShow("Result", image);
 ? ?Cv2.WaitKey(0);
}

02

定義實(shí)例分割模型方法

實(shí)例分割模型部署流程與目標(biāo)檢測(cè)基本一致，主要不同點(diǎn)是模型結(jié)果的后處理方式，此處只展示了模型結(jié)果后處理代碼，其他代碼與YOLOv9目標(biāo)檢測(cè)代碼一致，YOLOv9實(shí)例分割模型部署代碼如下所示：

static void yolov9_seg(string model_path, string image_path, string device)
{
  ... ...(代碼與上文一致)
  // -------- Step 8. Get infer result data --------
  Tensor output_tensor_0 = infer_request.get_output_tensor(0);
  float[] result_detect = output_tensor_0.get_data((int)output_tensor_0.get_size());
  Tensor output_tensor_1 = infer_request.get_output_tensor(1);
  float[] result_proto = output_tensor_1.get_data((int)output_tensor_1.get_size());
  Mat detect_data = new Mat(116, 8400, MatType.CV_32FC1, result_detect);
  Mat proto_data = new Mat(32, 25600, MatType.CV_32F, result_proto);
  detect_data = detect_data.T();
  List position_boxes = new List();
  List class_ids = new List();
  List confidences = new List();
  List masks = new List();
  for (int i = 0; i < detect_data.Rows; i++)
 ? ?{
 ? ? ? ?Mat classes_scores = new Mat(detect_data, new Rect(4, i, 80, 1));//GetArray(i, 5, classes_scores);
 ? ? ? ?Point max_classId_point, min_classId_point;
 ? ? ? ?double max_score, min_score;
 ? ? ? ?Cv2.MinMaxLoc(classes_scores, out min_score, out max_score,
 ? ? ? ? ? ?out min_classId_point, out max_classId_point);
 ? ? ? ?if (max_score > 0.25)
    {
      Mat mask = new Mat(detect_data, new Rect(4 + 80, i, 32, 1));//detect_data.Row(i).ColRange(4 + categ_nums, categ_nums + 36);
      float cx = detect_data.At(i, 0);
      float cy = detect_data.At(i, 1);
      float ow = detect_data.At(i, 2);
      float oh = detect_data.At(i, 3);
      int x = (int)((cx - 0.5 * ow) * factor);
      int y = (int)((cy - 0.5 * oh) * factor);
      int width = (int)(ow * factor);
      int height = (int)(oh * factor);
      Rect box = new Rect();
      box.X = x;
      box.Y = y;
      box.Width = width;
      box.Height = height;
      position_boxes.Add(box);
      class_ids.Add(max_classId_point.X);
      confidences.Add((float)max_score);
      masks.Add(mask);
    }
  }
  int[] indexes = new int[position_boxes.Count];
  CvDnn.NMSBoxes(position_boxes, confidences, 0.5f, 0.5f, out indexes);
  SegResult result = new SegResult();
  Mat rgb_mask = Mat.Zeros(new Size((int)image.Size().Width, (int)image.Size().Height), MatType.CV_8UC3);
  Random rd = new Random(); // Generate Random Numbers
  for (int i = 0; i < indexes.Length; i++)
 ? ?{
 ? ? ? ?int index = indexes[i];
 ? ? ? ?// Division scope
 ? ? ? ?Rect box = position_boxes[index];
 ? ? ? ?int box_x1 = Math.Max(0, box.X);
 ? ? ? ?int box_y1 = Math.Max(0, box.Y);
 ? ? ? ?int box_x2 = Math.Max(0, box.BottomRight.X);
 ? ? ? ?int box_y2 = Math.Max(0, box.BottomRight.Y);
 ? ? ? ?// Segmentation results
 ? ? ? ?Mat original_mask = masks[index] * proto_data;
 ? ? ? ?for (int col = 0; col < original_mask.Cols; col++)
 ? ? ? ?{
 ? ? ? ? ? ?original_mask.Set(0, col, sigmoid(original_mask.At(0, col)));
    }
    // 1x25600 -> 160x160 Convert to original size
    Mat reshape_mask = original_mask.Reshape(1, 160);
    // Split size after scaling
    int mx1 = Math.Max(0, (int)((box_x1 / factor) * 0.25));
    int mx2 = Math.Min(160, (int)((box_x2 / factor) * 0.25));
    int my1 = Math.Max(0, (int)((box_y1 / factor) * 0.25));
    int my2 = Math.Min(160, (int)((box_y2 / factor) * 0.25));
    // Crop Split Region
    Mat mask_roi = new Mat(reshape_mask, new OpenCvSharp.Range(my1, my2), new OpenCvSharp.Range(mx1, mx2));
    // Convert the segmented area to the actual size of the image
    Mat actual_maskm = new Mat();
    Cv2.Resize(mask_roi, actual_maskm, new Size(box_x2 - box_x1, box_y2 - box_y1));
    // Binary segmentation region
    for (int r = 0; r < actual_maskm.Rows; r++)
 ? ? ? ?{
 ? ? ? ? ? ?for (int c = 0; c < actual_maskm.Cols; c++)
 ? ? ? ? ? ?{
 ? ? ? ? ? ? ? ?float pv = actual_maskm.At(r, c);
        if (pv > 0.5)
        {
          actual_maskm.Set(r, c, 1.0f);
        }
        else
        {
          actual_maskm.Set(r, c, 0.0f);
        }
      }
    }
    // 預(yù)測(cè)
    Mat bin_mask = new Mat();
    actual_maskm = actual_maskm * 200;
    actual_maskm.ConvertTo(bin_mask, MatType.CV_8UC1);
    if ((box_y1 + bin_mask.Rows) >= (int)image.Size().Height)
    {
      box_y2 = (int)image.Size().Height - 1;
    }
    if ((box_x1 + bin_mask.Cols) >= (int)image.Size().Width)
    {
      box_x2 = (int)image.Size().Width - 1;
    }
    // Obtain segmentation area
    Mat mask = Mat.Zeros(new Size((int)image.Size().Width, (int)image.Size().Height), MatType.CV_8UC1);
    bin_mask = new Mat(bin_mask, new OpenCvSharp.Range(0, box_y2 - box_y1), new OpenCvSharp.Range(0, box_x2 - box_x1));
    Rect roi1 = new Rect(box_x1, box_y1, box_x2 - box_x1, box_y2 - box_y1);
    bin_mask.CopyTo(new Mat(mask, roi1));
    // Color segmentation area
    Cv2.Add(rgb_mask, new Scalar(rd.Next(0, 255), rd.Next(0, 255), rd.Next(0, 255)), rgb_mask, mask);
    result.add(class_ids[index], confidences[index], position_boxes[index], rgb_mask.Clone());
  }
  Mat masked_img = new Mat();
  // Draw recognition results on the image
  for (int i = 0; i < result.count; i++)
 ? ?{
 ? ? ? ?Cv2.Rectangle(image, result.datas[i].box, new Scalar(0, 0, 255), 2, LineTypes.Link8);
 ? ? ? ?Cv2.Rectangle(image, new Point(result.datas[i].box.TopLeft.X, result.datas[i].box.TopLeft.Y + 30),
 ? ? ? ? ? ?new Point(result.datas[i].box.BottomRight.X, result.datas[i].box.TopLeft.Y), new Scalar(0, 255, 255), -1);
 ? ? ? ?Cv2.PutText(image, CocoOption.lables[result.datas[i].index] + "-" + result.datas[i].score.ToString("0.00"),
 ? ? ? ? ? ?new Point(result.datas[i].box.X, result.datas[i].box.Y + 25),
 ? ? ? ? ? ?HersheyFonts.HersheySimplex, 0.8, new Scalar(0, 0, 0), 2);
 ? ? ? ?Cv2.AddWeighted(image, 0.5, result.datas[i].mask, 0.5, 0, masked_img);
 ? ?}
 ? ?string output_path = Path.Combine(Path.GetDirectoryName(Path.GetFullPath(image_path)),
 ? ? ? ?Path.GetFileNameWithoutExtension(image_path) + "_result.jpg");
 ? ?Cv2.ImWrite(output_path, masked_img);
 ? ?Slog.INFO("The result save to " + output_path);
 ? ?Cv2.ImShow("Result", masked_img);
 ? ?Cv2.WaitKey(0);
}

03

使用OpenVINO預(yù)處理接口編譯模型

OpenVINO提供了推理數(shù)據(jù)預(yù)處理接口，用戶可以更具模型的輸入數(shù)據(jù)預(yù)處理方式進(jìn)行設(shè)置。在讀取本地模型后，調(diào)用數(shù)據(jù)預(yù)處理接口，按照模型要求的數(shù)據(jù)預(yù)處理方式進(jìn)行輸入配置，然后再將配置好的預(yù)處理接口與模型編譯到一起，這樣便實(shí)現(xiàn)了將模型預(yù)處理與模型結(jié)合在一起，實(shí)現(xiàn)OpenVINO對(duì)于處理過程的加速。主要是現(xiàn)在代碼如下所示：

static void yolov9_seg_with_process(string model_path, string image_path, string device)
{
  // -------- Step 1. Initialize OpenVINO Runtime Core --------
  Core core = new Core();
  // -------- Step 2. Read inference model --------
  Model model = core.read_model(model_path);
  OvExtensions.printf_model_info(model);
  PrePostProcessor processor = new PrePostProcessor(model);
  Tensor input_tensor_pro = new Tensor(new OvType(ElementType.U8), new Shape(1, 640, 640, 3));
  InputInfo input_info = processor.input(0);
  InputTensorInfo input_tensor_info = input_info.tensor();
  input_tensor_info.set_from(input_tensor_pro).set_layout(new Layout("NHWC")).set_color_format(ColorFormat.BGR);


  PreProcessSteps process_steps = input_info.preprocess();
  process_steps.convert_color(ColorFormat.RGB).resize(ResizeAlgorithm.RESIZE_LINEAR)
    .convert_element_type(new OvType(ElementType.F32)).scale(255.0f).convert_layout(new Layout("NCHW"));
  Model new_model = processor.build();
  // -------- Step 3. Loading a model to the device --------
  CompiledModel compiled_model = core.compile_model(new_model, device);
  // -------- Step 4. Create an infer request --------
  InferRequest infer_request = compiled_model.create_infer_request();
  // -------- Step 5. Process input images --------
  Mat image = new Mat(image_path); // Read image by opencvsharp
  int max_image_length = image.Cols > image.Rows ? image.Cols : image.Rows;
  Mat max_image = Mat.Zeros(new OpenCvSharp.Size(max_image_length, max_image_length), MatType.CV_8UC3);
  Rect roi = new Rect(0, 0, image.Cols, image.Rows);
  image.CopyTo(new Mat(max_image, roi));
  Cv2.Resize(max_image, max_image, new OpenCvSharp.Size(640, 640));
  float factor = (float)(max_image_length / 640.0);
  // -------- Step 6. Set up input data --------
  start = DateTime.Now;
  Tensor input_tensor = infer_request.get_input_tensor();
  Shape input_shape = input_tensor.get_shape();
  byte[] input_data = new byte[input_shape[1] * input_shape[2] * input_shape[3]];
  //max_image.GetArray(out input_data);
  Marshal.Copy(max_image.Ptr(0), input_data, 0, input_data.Length);
  IntPtr destination = input_tensor.data();
  Marshal.Copy(input_data, 0, destination, input_data.Length);
  // -------- Step 7. Do inference synchronously --------
 ... ...(后續(xù)與上文代碼一致)
}

4. 模型預(yù)測(cè)方法調(diào)用

定義完模型推理接口后，便可以在主函數(shù)里進(jìn)行調(diào)用。此處為了讓大家更好的復(fù)現(xiàn)本文代碼，提供了在線模型，用戶只需要運(yùn)行以下代碼，便可以直接下載轉(zhuǎn)換好的模型進(jìn)行模型推理，無需再自行轉(zhuǎn)換，主函數(shù)代碼如下所示：

static void Main(string[] args)
{
  string model_path = "";
  string image_path = "";
  string device = "AUTO";
  if (args.Length == 0)
  {
    if (!Directory.Exists("./model"))
    {
      Directory.CreateDirectory("./model");
    }
    if (!File.Exists("./model/yolov9-c-converted.xml") && !File.Exists("./model/yolov9-c-converted.bin"))
    {
      if (!File.Exists("./model/yolov9-c-converted.tar"))
      {
        _ = Download.download_file_async("https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/releases/download/Model/yolov9-c-converted.tar",
          "./model/yolov9-c-converted.tar").Result;
      }
      Download.unzip("./model/yolov9-c-converted.tar", "./model/");
    }
    if (!File.Exists("./model/test_det_01.jpg"))
    {
      _ = Download.download_file_async("https://github.com/guojin-yan/OpenVINO-CSharp-API-Samples/releases/download/Image/test_det_01.jpg",
        "./model/test_det_01.jpg").Result;
    }
    model_path = "./model/yolov9-c-converted.xml";
    image_path = "./model/test_det_01.jpg";
  }
  else if (args.Length >= 2)
  {
    model_path = args[0];
    image_path = args[1];
    device = args[2];
  }
  else
  {
    Console.WriteLine("Please enter the correct command parameters, for example:");
    Console.WriteLine("> 1. dotnet run");
    Console.WriteLine("> 2. dotnet run   ");
  }
  // -------- Get OpenVINO runtime version --------
  OpenVinoSharp.Version version = Ov.get_openvino_version();
  Slog.INFO("---- OpenVINO INFO----");
  Slog.INFO("Description : " + version.description);
  Slog.INFO("Build number: " + version.buildNumber);
  Slog.INFO("Predict model files: " + model_path);
  Slog.INFO("Predict image files: " + image_path);
  Slog.INFO("Inference device: " + device);
  Slog.INFO("Start yolov9 model inference.");
  yolov9_det(model_path, image_path, device);
  yolov9_det_with_process(model_path, image_path, device);
}

5. 項(xiàng)目運(yùn)行與演示

5.1

項(xiàng)目編譯和運(yùn)行

接下來輸入項(xiàng)目編譯指令進(jìn)行項(xiàng)目編譯，輸入以下指令即可：

dotnet build

接下來運(yùn)行編譯后的程序文件，在CMD中輸入以下指令，運(yùn)行編譯后的項(xiàng)目文件：

dotnet run --no-build

5.2

YOLOv9目標(biāo)檢測(cè)模型運(yùn)行結(jié)果

下圖為YOLOv9 目標(biāo)檢測(cè)模型運(yùn)行輸出信息，此處我們使用在線轉(zhuǎn)換好的模型進(jìn)行推理。，首先會(huì)下載指定模型以及推理數(shù)據(jù)到本地，這樣避免了開發(fā)者在自己配置環(huán)境和下載模型；接下來是輸出打印 OpenVINO 版本信息，此處我們使用NuGet安裝的依賴項(xiàng)，已經(jīng)是OpenVINO 2024.0最新版本；接下來就是打印相關(guān)的模型信息，并輸出每個(gè)過程所消耗時(shí)間。

下圖為使用YOLOv9目標(biāo)檢測(cè)模型推理結(jié)果：

5.3

YOLOv9實(shí)例分割模型運(yùn)行結(jié)果

下圖為YOLOv9實(shí)例分割模型運(yùn)行輸出信息，此處我們使用在線轉(zhuǎn)換好的模型進(jìn)行推理。首先會(huì)下載指定模型以及推理數(shù)據(jù)到本地，這樣避免了開發(fā)者在自己配置環(huán)境和下載模型；接下來是輸出打印OpenVINO版本信息，此處我們使用NuGet安裝的依賴項(xiàng)，已經(jīng)是OpenVINO 2024.0最新版本；接下來就是打印相關(guān)的模型信息，并輸出每個(gè)過程所消耗時(shí)間。

下圖為使用YOLOv9實(shí)例分割模型推理結(jié)果：

6. 總結(jié)

在該項(xiàng)目中，我們結(jié)合之前開發(fā)的OpenVINO C# API 項(xiàng)目部署YOLOv9模型，成功實(shí)現(xiàn)了對(duì)象目標(biāo)檢測(cè)與實(shí)例分割，并且根據(jù)不同開發(fā)者的使用習(xí)慣，同時(shí)提供了OpenCvSharp以及Emgu.CV兩種版本，供各位開發(fā)者使用。

審核編輯：劉清