描述

強(qiáng)化學(xué)習(xí)是人工智能的一個分支，計(jì)算機(jī)通過與問題直接交互來了解問題。該項(xiàng)目使用強(qiáng)化學(xué)習(xí)來嘗試學(xué)習(xí)在舊 iPhone 上玩 Doodle Jump 游戲。相機(jī)每秒從 iphone 拍攝 30 張圖像。對這些圖像進(jìn)行分析，然后一個簡單的機(jī)器人通過旋轉(zhuǎn) iPhone 并按下屏幕上的按鈕來操縱 iPhone。

硬件

該項(xiàng)目的“智能”部分是運(yùn)行機(jī)器人操作系統(tǒng) (ROS) 和 TensorFlow 的 Nvidia Jetson。機(jī)器人包括：

• 用于旋轉(zhuǎn) iPhone 的步進(jìn)電機(jī)。
• 用于按下 iPhone 屏幕上的按鈕的伺服電機(jī)和螺線管。
• Ximea 相機(jī)用于捕捉 iPhone 屏幕的圖片，并通過 USB3 將它們提供給 Jetson。
• EIBot 板驅(qū)動步進(jìn)器和伺服系統(tǒng)。
• 復(fù)古外觀的盒子中還有一個電源，可為 Jetson 提供 12 伏電壓，為 EIBot 板提供 19 伏電壓，為 USB 集線器提供 5 伏電壓。
• 用于運(yùn)行 Linux 和控制事物的鍵盤、鼠標(biāo)和顯示器。

軟件

ROS 是構(gòu)建此類項(xiàng)目的絕佳方式。使用 ROS，我可以將系統(tǒng)構(gòu)建為一組使用標(biāo)準(zhǔn)消息傳遞系統(tǒng)進(jìn)行通信的獨(dú)立進(jìn)程。該項(xiàng)目包括 C++ 和 Python 進(jìn)程。消息編譯器以兩種語言構(gòu)建存根，因此可以輕松傳遞消息。ROS的主要模塊包括：

• 從相機(jī)接收圖像的相機(jī)驅(qū)動程序。
• 從屏幕上讀取分?jǐn)?shù)的簡單神經(jīng)網(wǎng)絡(luò)。
• 一個更大的、基于 TensorFlow 的神經(jīng)網(wǎng)絡(luò)，用于分析從相機(jī)接收到的圖片。這是通過與機(jī)器人交互訓(xùn)練的網(wǎng)絡(luò)。
• 一個存檔過程，負(fù)責(zé)將操作和屏幕圖像保存在 sqlite 數(shù)據(jù)庫中以供以后訓(xùn)練使用。
• EIBot 板驅(qū)動程序。
• 屏幕驅(qū)動程序。

強(qiáng)化學(xué)習(xí)

人工智能的強(qiáng)化學(xué)習(xí)分支是最活躍的領(lǐng)域之一。該系統(tǒng)使用一種稱為模仿學(xué)習(xí)的變體。我使用機(jī)器人操縱 iPhone 玩了數(shù)百場 Doodle Jump 游戲。系統(tǒng)存檔圖像和我采取的行動。這些圖像和動作被用作神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集。在系統(tǒng)開始做任何有意義的事情之前，它需要數(shù)千張訓(xùn)練圖像。目前該系統(tǒng)可以玩一個基本的游戲。它不會瘋狂??地按下按鈕或隨機(jī)搖動屏幕。作為學(xué)習(xí)的一部分，我會盡可能及時地糾正錯誤的決定。這些游戲和修正，以及隨機(jī)選擇的最后 20K 張圖像，在每次運(yùn)行后用作訓(xùn)練。

這個過程比我預(yù)期的要慢得多。我希望通過采用更復(fù)雜的學(xué)習(xí)模型來改進(jìn)事情，我希望讓系統(tǒng)松散以自行學(xué)習(xí)。