描述

我發(fā)了手表給你的運(yùn)動(dòng)和歡呼。

我叫加油表??！

成像加速數(shù)據(jù)

M5StickV 的加速度被成像。加速度以 x = R，y = G，z = B 的 8x8 RGB 輸入。這是必需的，因?yàn)?KPU 僅支持圖像。

MPU 輸出的數(shù)據(jù)需要轉(zhuǎn)換，因?yàn)闇p號(hào)是補(bǔ)號(hào)。

accel = i2c.readfrom_mem(MPU6886_ADDRESS, MPU6886_ACCEL_XOUT_H, 6)
accel_x = (accel[0]<<8|accel[1])
accel_y = (accel[2]<<8|accel[3])
accel_z = (accel[4]<<8|accel[5])

if accel_x>32768:
    accel_x=accel_x-65536
if accel_y>32768:
    accel_y=accel_y-65536
if accel_z>32768:
    accel_z=accel_z-65536

?

加速度的動(dòng)態(tài)運(yùn)動(dòng)表現(xiàn)為云紋。在X方向進(jìn)行8個(gè)點(diǎn)后，在Y點(diǎn)方向進(jìn)行。由于圖像中垂直和水平像素的數(shù)量、傳感器的采樣率和手部運(yùn)動(dòng)的周期性。

將圖像數(shù)據(jù)保存到 SD 卡。

?

https://github.com/anoken/CheeringWatch_M5StickC-V/blob/master/m5stickv_maixpy/m5stickv_imu_to_pixel_record_191027.py

為 Ubuntu 安裝 TensorFlow/Keras

本課程使用 Ubuntu18.04 或適用于 Linux 的 Windows 子系統(tǒng)。

安裝 Miniconda 并創(chuàng)建 Python 環(huán)境。Miniconda 安裝程序是從 Miniconda 網(wǎng)站下載的。

Miniconda：https://docs.conda.io/en/latest/miniconda.html

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

在 Miniconda 上安裝 Python、TensorFlow、Keras 等。

conda create -n ml python=3.6 tensorflow=1.14 keras pillow \
numpy pydot graphviz

激活康達(dá)。

conda activate ml

安裝 kendryte nncase

nncase 將使用 Keras 或 TensorFlow 創(chuàng)建的學(xué)習(xí)數(shù)據(jù)轉(zhuǎn)換為 KPU 學(xué)習(xí)數(shù)據(jù) kmodels。

nncase github: https://github.com/kendryte/nncase/

mkdir ./ncc
cd ./ncc
wget https://github.com/kendryte/nncase/releases/download/v0.1.0-rc5/
ncc-linux-x86_64.tar.xz
tar -Jxf ncc-linux-x86_64.tar.xz

凱拉斯學(xué)習(xí)

加速模型是通過(guò)深度學(xué)習(xí)創(chuàng)建的。每個(gè)活動(dòng)的加速度圖像都被分類(lèi)到 M5StickV SD 卡中。使用 Keras 從 CNN 的分類(lèi)和圖像中學(xué)習(xí)。學(xué)習(xí)結(jié)果用 Kmodel 保存。

?

按照以下命令在 Ubuntu 上運(yùn)行 PYTHON 程序。

python keras_motion_larning_191030.py

https://github.com/anoken/CheeringWatch_M5StickC-V/blob/master/keras/keras_motion_larning_191030.py

生成名為 A 的“my_model.kmodel”文件。

閃存圖形用戶(hù)界面

用工具編寫(xiě)m5stickv固件和kmodel。

?

畫(huà)臉說(shuō)話(huà)

顯示一張友好的臉來(lái)幫助你。這張臉像萬(wàn)向節(jié)一樣旋轉(zhuǎn)到傾斜。此外，音頻根據(jù)動(dòng)作輸出。

?

https://github.com/anoken/CheeringWatch_M5StickC-V/blob/master/m5stickv_maixpy/m5stickv_imu_to_pixel_detec_191027.py

環(huán)境連接

m5stickv 無(wú)法連接到互聯(lián)網(wǎng)。所以將它連接到 M5StickC 并連接到互聯(lián)網(wǎng)。將運(yùn)動(dòng)數(shù)據(jù)發(fā)送到日本的環(huán)境云服務(wù)。

?

m5stickc軟件使用arduino創(chuàng)建編程。從URT接收并發(fā)送到AMBIENT。它還從網(wǎng)絡(luò)獲取當(dāng)前時(shí)間并顯示時(shí)間。

?

https://github.com/anoken/CheeringWatch_M5StickC-V/blob/master/m5stickc/m5stickc_time_recieve_activity_send_ambient.ino