描述

介紹

警告：目前 Home Assistant 中的 Tensorflow 集成存在問題，這是由于在多個平臺上支持 Tensorflow 的復(fù)雜性而出現(xiàn)的。除非您對調(diào)試安裝問題非常有信心，否則我不建議您嘗試遵循本指南。另請注意，Hassbian 不再由 Home Assistant 維護。

TensorFlow是一種流行的開源機器學習框架，可用于圖像處理中的廣泛應(yīng)用，特別是用于對象檢測。家庭自動化項目中有許多對象檢測應(yīng)用，例如在攝像頭輸入中定位車輛或?qū)櫸锏葘ο?，然后根?jù)這些對象的存在執(zhí)行操作（使用自動化）。Home-Assistant是一個流行的開源 Python 3 家庭自動化平臺，可以在 Raspberry Pi 上運行。TensorFlow 對象檢測在一些設(shè)置后可在 Home-Assistant 中使用，允許人們在他們的家庭自動化項目中開始使用對象檢測，而無需大驚小怪。Home-Assistant 文檔提供了開始使用 TensorFlow的說明對象檢測，但所描述的過程比典型的家庭助手組件要復(fù)雜一些。如文檔所述，此組件需要下載文件，在您的計算機上編譯，并添加到 Home Assistant 配置目錄。我在 GitHub 上托管了一些代碼來簡化設(shè)置過程，本指南將介紹熟悉的 Raspberry Pi 硬件上的簡化設(shè)置過程。

家庭助理設(shè)置

我在 Raspberry Pi 4 上使用 Home-Assistant 0.98 版的 Hassbian 部署，但請注意，其他 Home-Assistant 部署的步驟應(yīng)該相同（警告，Hassio 還不允許安裝 TensorFlow，所以不要嘗試它）。關(guān)于硬件的說明，TensorFlow 模型需要大約 1 GB 的 RAM，因此雖然可以在 RPI3 上運行，但體驗太差了，我什至不建議嘗試。作為最低要求，我推薦具有 > 2GB RAM 的 RPI4。

有關(guān)設(shè)置的更多信息，請參閱Hassbian 文檔，但基本過程是：

• 將 Hassbian 磁盤映像閃存到 SD 卡（我使用Etcher ）
• 將您的 Wifi 憑據(jù)添加到 SD 卡上的文本文件中
• 將 SD 卡插入您的 Pi
• 插入鍵盤并顯示到 Pi 以監(jiān)控安裝過程

您可以通過連接到 Pi 的鍵盤來完成整個 TensorFlow 設(shè)置，但我建議通過 Hassbian 腳本安裝Cloud9 Web IDE。此 IDE 允許您從網(wǎng)絡(luò)上的任何計算機通過 Home-Assistant 前端執(zhí)行 TensorFlow 設(shè)置過程。按照此處的說明安裝 Cloud9 ，然后導(dǎo)航到http://hassbian.local:8181您現(xiàn)在可以使用面板 iframe在 Home-Assistant GUI 上顯示 Cloud9 IDE ，通過添加到 Home-Assistant configuration.yaml文件進行配置（通過 Cloud9 IDE 編輯）：

panel_iframe:    
cloud9:    
  title: cloud9    
  icon: mdi:wrench    
  url: http://hassbian.local:8181/ide.html

編輯文件后，最好使用配置驗證工具。要使用它，從側(cè)面板，配置 -> 常規(guī) -> 檢查配置（在配置驗證下））。

?

圖 1. 顯示 OK 配置的配置驗證工具。

?

如果您從配置檢查工具中獲得確定，則需要重新啟動 Home-Assistant 以使更改生效（從側(cè)面板配置 -> 常規(guī) -> 重新啟動（在服務(wù)器管理下））。重新啟動時，您應(yīng)該看到以下內(nèi)容：

?

圖 2. 通過 Panel iframe 在 HA 前端查看的 Cloud9 IDE 插件。

?

TensorFlow 設(shè)置

確保您正在運行 Home-Assistant 的最新版本。我建議您閱讀TensorFlow 組件文檔以了解設(shè)置過程，但在本指南中，我們跳過了幾個步驟，因為我在 GitHub 上提供了所需的代碼。

第 1 步：安裝 TensorFlow。我們需要 TensorFlow 可用于 Home-Assistant。從 Cloud9 IDE 中的命令行：

• sudo apt-get install libatlas-base-dev libopenjp2-7 libtiff5
• 從 Pi 切換到 homeassistant 用戶 ->sudo -u homeassistant -H -s
• 激活homeassistant python環(huán)境->cd /srv/homeassistant/然后source bin/activate
• 從 pypi -> 安裝 tensorflow pip3 install tensorflow==1.13.2（檢查當前版本要求）

第 2 步：從我的 GitHub 獲取 TensorFlow 需要的文件。在任何計算機上，導(dǎo)航到：https ://github.com/robmarkcole/tensorflow_files_for_home_assistant_component并下載 ZIP 文件或克隆存儲庫。使用 Cloud9 IDE 將tensorflow/object_detection存儲庫中的文件夾復(fù)制到 Home-Assistant 的配置文件夾中。生成的文件夾結(jié)構(gòu)如圖 2 所示。

第 3 步：為目標檢測選擇合適的模型。我給這個步驟一個單獨的部分。

型號選擇

TensorFlow“模型”是具有擴展名的二進制文件，.pb其中包含 TensorFlow 將用于執(zhí)行對象檢測的神經(jīng)網(wǎng)絡(luò)的權(quán)重。這是您無需擔心的細節(jié)，但需要的是選擇合適的模型并將其放置在配置目錄中。正如組件文檔所建議的那樣，互聯(lián)網(wǎng)上有一系列可用的模型，或者您甚至可以創(chuàng)建自己的模型。一般來說，模型的準確性和速度之間需要權(quán)衡取舍。由于 Raspberry Pi 的 CPU 和 RAM 有限，我們應(yīng)該選擇輕量級的型號，例如為手機設(shè)計的型號。TensorFlow 模型動物園提供可下載模型的列表，因此請導(dǎo)航至動物園自述文件并選擇模型。在這里，我們將遵循文檔建議并選擇ssd_mobilenet_v2_coco模型。從命令行，并注意到我們?nèi)栽谑褂?/font>homeassistant用戶配置文件：

TENSORFLOW_DIR="/home/homeassistant/c9workspace/homeassistant/tensorflow"    
cd $TENSORFLOW_DIR    
curl -OL http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v2_coco_2018_03_29.tar.gz    
tar -xzvf ssd_mobilenet_v2_coco_2018_03_29.tar.gz

請注意，我們設(shè)置環(huán)境變量TENSORFLOW_DIR以確保將下載的文件放在本文中配置說明所需的位置。現(xiàn)在我們有一個可用的模型文件，我們可以配置 TensorFlow 組件。

TensorFlow 組件配置

您將需要一個相機源來提供圖像。我只是設(shè)置了一個local_file 相機，但您可以使用任何相機源。請注意您的相機的 entity_id（我的是camera.local_file）并將以下內(nèi)容添加到您的 configuration.yaml 文件中：

image_processing:    
 - platform: tensorflow    
   scan_interval: 20000    
   source:    
     - entity_id: camera.local_file    
   model:    
     graph: /home/homeassistant/c9workspace/homeassistant/tensorflow/ssd_mobilenet_v2_coco_2018_03_29/frozen_inference_graph.pb

再次檢查您的配置更改是否有效并重新啟動 Home-Assistant。

TensorFlow 組件使用

現(xiàn)在是有趣的部分，使用 TensorFlow 組件！請注意，在重新啟動時 Home-Assistant 將在其日志中發(fā)出有關(guān)未安裝 OpenCV 的警告，您可以忽略此，因為 TensorFlow 可以改用 Pillow。另請注意，我們進行了配置scan_interval: 20000，這意味著 TensorFlow 圖像處理不會自動執(zhí)行（默認每 10 秒一次），而是僅在我們通過調(diào)用scan服務(wù)觸發(fā)它時執(zhí)行，您可以從 Home-Assistant 前端的服務(wù)開發(fā)人員工具中執(zhí)行此操作. 下圖向您展示了 TensorFlow 組件如何顯示其結(jié)果：

執(zhí)行掃描后

?

?

查看 TensorFlow 檢測數(shù)據(jù)。模型正確識別了這只狗。

?

您現(xiàn)在可以在 Home-Assistant自動化中使用對象檢測數(shù)據(jù)。Home-Assistant論壇是獲取自動化想法的好地方，請查看。

概括

在本文中，我們介紹了設(shè)置 Home-Assistant 以使用 TensorFlow 執(zhí)行對象檢測的過程，然后在相機圖像上執(zhí)行對象檢測。希望這將使您能夠以最小的麻煩將尖端的 AI 技術(shù)投入到您的家庭自動化項目中的生產(chǎn)中。

故障排除

• 當我使用 Tensorflow 時，Home-Assistant 崩潰了，為什么？您可能沒有足夠的可用內(nèi)存，因為模型需要約 1 GB 的 RAM。終止 pi 上的一些進程，然后重試

使用碼頭工人？

社區(qū)成員創(chuàng)建了輪子以在此處的 Alpine linux docker 容器中安裝 tensorflow