作者：楊雪鋒博士英特爾物聯(lián)網(wǎng)行業(yè)創(chuàng)新大使

01簡(jiǎn)介

《在 AI 愛(ài)克斯開(kāi)發(fā)板上用 OpenVINO加速 YOLOv8 目標(biāo)檢測(cè)模型》介紹了在AI 愛(ài)克斯開(kāi)發(fā)板上使用 OpenVINO開(kāi)發(fā)套件部署并測(cè)評(píng) YOLOv8 的目標(biāo)檢測(cè)模型，本文將介紹在AI 愛(ài)克斯開(kāi)發(fā)板上使用 OpenVINO加速 YOLOv8-seg 實(shí)例分割模型。

請(qǐng)先下載本文的范例代碼倉(cāng)，并搭建好 YOLOv8 的 OpenVINO推理程序開(kāi)發(fā)環(huán)境。

git clone

https://gitee.com/ppov-nuc/yolov8_openvino.git

02導(dǎo)出 YOLOv8-seg 實(shí)例分割

OpenVINO IR 模型

YOLOv8-seg 的實(shí)例分割模型有5種，在 COCO 數(shù)據(jù)集完成訓(xùn)練，如下表所示。

首先使用命令：

yoloexport model=yolov8n-seg.pt format=onnx

完成 yolov8n-seg.onnx 模型導(dǎo)出，如下圖所示：

然后使用命令：

mo -m yolov8n-seg.onnx --compress_to_fp16

優(yōu)化并導(dǎo)出 FP16 精度的 OpenVINO IR 格式模型，如下圖所示：

03用 benchmark_app 測(cè)試

YOLOv8-seg 實(shí)例分割模型的推理計(jì)算性能

benchmark_app 是 OpenVINO工具套件自帶的 AI 模型推理計(jì)算性能測(cè)試工具，可以指定在不同的計(jì)算設(shè)備上，在同步或異步模式下，測(cè)試出不帶前后處理的純 AI 模型推理計(jì)算性能。

使用命令：

benchmark_app -m yolov8n-seg.xml -d GPU

獲得 yolov8n-seg.xml 模型在AI 愛(ài)克斯開(kāi)發(fā)板的集成顯卡上的異步推理計(jì)算性能，如下圖所示：

04使用 OpenVINO Python API 編寫(xiě)

YOLOv8-seg 實(shí)例分割模型推理程序

用 Netron 打開(kāi) yolov8n-seg.onnx 可以看到模型的輸入和輸出，跟 YOLOv5-seg 模型的輸入輸出定義很類似：

輸入節(jié)點(diǎn)名字：“images”；

數(shù)據(jù)：float32[1,3,640,640]

輸出節(jié)點(diǎn) 1 的名字：“output0”；

數(shù)據(jù)：float32[1,116,8400]。其中 116 的前 84 個(gè)字段跟 YOLOv8 目標(biāo)檢測(cè)模型輸出定義完全一致，即cx,cy,w,h 和 80 類的分?jǐn)?shù)；后 32 個(gè)字段用于計(jì)算掩膜數(shù)據(jù)。

輸出節(jié)點(diǎn) 2 的名字：“output1”；

數(shù)據(jù)：float32[1,32,160,160]。output0 后 32 個(gè)字段與 output1 的數(shù)據(jù)做矩陣乘法后得到的結(jié)果，即為對(duì)應(yīng)目標(biāo)的掩膜數(shù)據(jù)。

基于 OpenVINO Python API 的 YOLOv8-seg 實(shí)例分割模型范例程序 yolov8_seg_ov_sync_infer_demo.py 的核心源代碼，如下所示：

# Initialize the VideoCapture
cap = cv2.VideoCapture("store-aisle-detection.mp4")
# Initialize YOLOv5 Instance Segmentator
model_path = "yolov8n-seg.xml"
device_name = "GPU"
yoloseg = YOLOSeg(model_path, device_name, conf_thres=0.3, iou_thres=0.3)
while cap.isOpened():
  # Read frame from the video
  ret, frame = cap.read()
  if not ret:
    break
  # Update object localizer
  start = time.time()
  boxes, scores, class_ids, masks = yoloseg(frame)
  # postprocess and draw masks
  combined_img = yoloseg.draw_masks(frame)
  end = time.time()
  # show FPS
  fps = (1 / (end - start)) 
  fps_label = "Throughput: %.2f FPS" % fps
  cv2.putText(combined_img, fps_label, (10, 25), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)
  # show ALL
  cv2.imshow("YOLOv8 Segmentation OpenVINO inference Demo", combined_img)
  # Press Any key stop
  if cv2.waitKey(1) > -1:
    print("finished by user")
    break

向右滑動(dòng)查看完整代碼

運(yùn)行結(jié)果，如下圖所示：

向右滑動(dòng)查看完整圖片

05結(jié)論

AI 愛(ài)克斯開(kāi)發(fā)板借助 N5105 處理器的集成顯卡(24個(gè)執(zhí)行單元)和 OpenVINO，可以在 YOLOv8-seg 的實(shí)例分割模型上獲得相當(dāng)不錯(cuò)的性能。

通過(guò)異步處理和AsyncInferQueue，還能進(jìn)一步提升計(jì)算設(shè)備的利用率，提高 AI 推理程序的吞吐量。下一篇將繼續(xù)介紹在《在 AI 愛(ài)克斯開(kāi)發(fā)板上用 OpenVINO加速 YOLOv8-pose 姿態(tài)檢測(cè)模型》。

審核編輯：湯梓紅