電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>TensorFlow手勢識別樹莓派開源

TensorFlow手勢識別樹莓派開源

2072270 2022-11-09 | zip | 0.76 MB | 次下載 | 2積分

資料介紹

描述

該項(xiàng)目背后的想法是創(chuàng)建一個能夠根據(jù)手指手勢驅(qū)動執(zhí)行器的設(shè)備。

該項(xiàng)目專門用于識別 raspberry-pi 相機(jī)拍攝的手部流圖像。

用于訓(xùn)練模型的圖像數(shù)據(jù)集是臨時創(chuàng)建的，圖像僅從 Raspberry 相機(jī)（而非其他設(shè)備）拍攝，具有中性背景。

該模型基于Inception v3模型的遷移學(xué)習(xí)，為處理項(xiàng)目需求而定制。最后一層從Inception v3模型中刪除，并添加了幾層以使用新數(shù)據(jù)集進(jìn)行自定義，并僅提供四種情況的輸出。

該模型使用先前在桌面（32 Gb ram + GPU）上收集和預(yù)分類的圖像進(jìn)行訓(xùn)練。一旦模型經(jīng)過訓(xùn)練和測試，它就會被導(dǎo)出到 Raspberry Pi。

創(chuàng)建數(shù)據(jù)集

該項(xiàng)目的目的是確定我手指的位置。

因此，它創(chuàng)建了一個圖像數(shù)據(jù)集，其中手指在四個不同的位置{'無'、'一根手指'、'多于一根手指'、'手閉合'}。

手的位置總是顛倒的。

創(chuàng)建模型

使用的模型基于稱為遷移學(xué)習(xí)的技術(shù)。從已經(jīng)完全訓(xùn)練的預(yù)先存在的模型（Inception v3 模型）中刪除了最后幾層，并添加了額外的幾個新層。

在代碼下方自定義添加到模型的層。

last_layer = pre_trained_model.get_layer('mixed7')
last_output = last_layer.output

#creating a model using the previous model without the last few layers
x = layers.Flatten()(last_output)
# Add a fully connected layer with 100 hidden units and ReLU activation
x = layers.Dense(100, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)                  
# Add a final sigmoid layer for the classification of the 4 status
x = layers.Dense(4, activation='softmax')(x)           
 
model = Model( pre_trained_model.input, x)

訓(xùn)練模型

訓(xùn)練僅基于圖像的數(shù)據(jù)集，并添加了一些可變性以強(qiáng)制模型進(jìn)行泛化。這種可變性或多樣性（稱為數(shù)據(jù)增強(qiáng)）允許人為地增加訓(xùn)練示例的數(shù)量并提高分類的質(zhì)量。

training_datagen = ImageDataGenerator(
      rescale = 1./255,
      rotation_range=40,
      width_shift_range=0.2,
      height_shift_range=0.2,
      shear_range=0.2,
      zoom_range=0.2,
      horizontal_flip=True,
      fill_mode='nearest')

該模型僅擬合了 20 個 epoch，足以擬合模型并避免過度擬合。

history = model.fit(
            train_generator,
            validation_data = validation_generator,
            steps_per_epoch = 5,
            epochs = 20,
            validation_steps = 5,
            verbose = 2)

該模型的準(zhǔn)確性非常好，特別是對于驗(yàn)證數(shù)據(jù)集（由沒有可變性（數(shù)據(jù)增強(qiáng)）的真實(shí)圖像組成）。

一旦模型足夠好，它就會被保存并導(dǎo)出。

model.save("C:\\gits_folders\\Tensorflow_Lite_embeded\\raspbery\\enzo_02")

到目前為止描述的所有步驟都在 Jupiter notebook 上，可在下面的鏈接中找到：

https://github.com/EnzoCalogero/Tensorflow_Lite_embeded/blob/main/raspbery/enzo_01/Enzo01%204%20elements.ipynb

將模型部署到 Raspberry PI

模型訓(xùn)練和測試由一個相當(dāng)強(qiáng)大的桌面執(zhí)行。完成這些步驟后，必須將最終結(jié)果移至 Raspberry PI。

Raspberry PI 應(yīng)該僅執(zhí)行從 Raspberry PI 相機(jī)拍攝的圖像流中進(jìn)行的推斷（計(jì)算量如此之大，比訓(xùn)練密集得多）。

export_dir = "C:\\gits_folders\\Tensorflow_Lite_embeded\\raspbery\\enzo_02"
loaded = tf.saved_model.load(export_dir)

converter = tf.lite.TFLiteConverter.from_saved_model(export_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]

tflite_model = converter.convert()
tflite_model_file = 'enzo02_converted_model.tflite'

with open(tflite_model_file, "wb") as f:
    f.write(tflite_model)

在代碼之后，模型保存在一個文件（“enzo_02”）中，該文件可以輕松地從桌面復(fù)制到 Raspberry PI 文件系統(tǒng)。然后，它可以被運(yùn)行在 Raspberry PI 上的 python 腳本讀取。

from tflite_runtime.interpreter import Interpreter
....
interpreter = Interpreter(args.model)
  interpreter.allocate_tensors()
  _, height, width, _ = interpreter.get_input_details()[0]['shape']

完整的腳本可在鏈接中找到：

https://github.com/EnzoCalogero/Tensorflow_Lite_embeded/blob/main/raspbery/Enzo_mod_01/classify_picamera_servo.py

下面是一個如何午餐腳本的示例：

python3 classify_picamera_servo.py   --model ./enzo01_converted_model.tflite   --labels ./labels

電路概述

電路非常簡單。帶有攝像頭的樹莓派 4 是核心組件。他們收集視頻流并使用部署的模型執(zhí)行推理。然后，根據(jù)推理結(jié)果，一個信號被發(fā)送到 PCA9685，PCA9685 相應(yīng)地操作 3 個伺服系統(tǒng)。

用于操作 3 個伺服系統(tǒng)的 PCA9685 工作負(fù)載由 9v 的外部電池支持。

?

簡化電氣圖

建立旗幟

這 3 個標(biāo)志是使用 Polymorph 材料創(chuàng)建的。Polymorph 是一種特殊類型的塑料，其熔化溫度約為 60?C，用沸水加熱即可成型為任何形狀。一旦冷卻，它就會變成一種非常堅(jiān)韌的類似尼龍的聚合物。由于它是一種熱塑性塑料，Polymorph 可以多次重新加熱和熱成型。