模仿學(xué)習(xí)硏究如何從專家的決策數(shù)據(jù)中進行學(xué)習(xí)，以得到接近專家水準的決策模型。同樣學(xué)習(xí)如何決策的強化學(xué)習(xí)往往只根據(jù)環(huán)境的評價式反饋進行學(xué)習(xí)，與之相比，模仿學(xué)習(xí)能從決策數(shù)據(jù)中獲得更為直接的反饋。它可以分為行為克隆、基于逆向強化學(xué)習(xí)的模仿學(xué)習(xí)兩類方法?；谀嫦驈娀瘜W(xué)習(xí)的模仿學(xué)習(xí)把模仿學(xué)習(xí)的過程分解成逆向強化學(xué)習(xí)和強化學(xué)習(xí)兩個子過程，并反復(fù)迭代。逆向強化學(xué)習(xí)用于推導(dǎo)符合專家決策數(shù)據(jù)的獎賞函數(shù)，而強化學(xué)習(xí)基于該獎賞函數(shù)來學(xué)習(xí)策略?；谏蓪?a href='http://hljzzgx.com/v/tag/1722/' target='_blank' class='arckwlink_none'>網(wǎng)絡(luò)的模仿學(xué)習(xí)方法從基于逆向強化學(xué)習(xí)的模仿學(xué)習(xí)發(fā)展而來，其中最早出現(xiàn)且最具代表性的是生成對抗模仿學(xué)習(xí)方法（ Generative Adversarial Imitation Learning，簡稱GAIL）。生成對抗網(wǎng)絡(luò)由兩個相對抗的神經(jīng)網(wǎng)絡(luò)構(gòu)成，分別為判別器和生成器.GAL的特點是用生成對抗網(wǎng)絡(luò)框架求解模仿學(xué)習(xí)問題，其中，判別器的訓(xùn)練過程可類比獎賞函數(shù)的學(xué)習(xí)過程，生成器的訓(xùn)練過程可類比策略的學(xué)習(xí)過程。與傳統(tǒng)模仿學(xué)習(xí)方法相比，GA具有更好的魯棒性、表征能力和計算效率。因此，它能夠處理復(fù)雜的大規(guī)模問題，并可拓展到實際應(yīng)用中然而，GA存在著模態(tài)崩塌、環(huán)境交互樣本利用效率低等問題。最近，新的研究工作利用生成對抗網(wǎng)絡(luò)技術(shù)和強化學(xué)習(xí)技術(shù)等分別對這些問題進行改進，并在觀察機制、多智能體系統(tǒng)等方面對GAI進行了拓展。本文先介紹了GAL的主要思想及其優(yōu)缺點，然后對GAIL的改進算法進行了歸類、分析和對比，最后總結(jié)全文并探討了可能的未來趨勢。