RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

人工智能、機器學(xué)習、深度學(xué)習的關(guān)系

新機器視覺 ? 來源:人工智能大講堂 ? 2023-03-27 11:10 ? 次閱讀

1. 人工智能、機器學(xué)習、深度學(xué)習的關(guān)系

近些年人工智能、機器學(xué)習和深度學(xué)習的概念十分火熱,但很多從業(yè)者卻很難說清它們之間的關(guān)系,外行人更是霧里看花。在研究深度學(xué)習之前,先從三個概念的正本清源開始。概括來說,人工智能、機器學(xué)習和深度學(xué)習覆蓋的技術(shù)范疇是逐層遞減的,三者的關(guān)系如圖1所示,即:人工智能 > 機器學(xué)習 > 深度學(xué)習。

4e497578-cbdd-11ed-bfe3-dac502259ad0.png

圖1:人工智能、機器學(xué)習和深度學(xué)習三者關(guān)系示意

人工智能(ArtificialIntelligence,AI)是最寬泛的概念,是研發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。由于這個定義只闡述了目標,而沒有限定方法,因此實現(xiàn)人工智能存在的諸多方法和分支,導(dǎo)致其變成一個“大雜燴”式的學(xué)科。機器學(xué)習(MachineLearning,ML)是當前比較有效的一種實現(xiàn)人工智能的方式。深度學(xué)習(DeepLearning,DL)是機器學(xué)習算法中最熱門的一個分支,近些年取得了顯著的進展,并替代了大多數(shù)傳統(tǒng)機器學(xué)習算法。

2. 機器學(xué)習

區(qū)別于人工智能,機器學(xué)習、尤其是監(jiān)督學(xué)習則有更加明確的指代。機器學(xué)習是專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習行為,以獲取新的知識或技能,重新組織已有的知識結(jié)構(gòu),使之不斷改善自身的性能。這句話有點“云山霧罩”的感覺,讓人不知所云,下面我們從機器學(xué)習的實現(xiàn)和方法論兩個維度進行剖析,幫助讀者更加清晰地認識機器學(xué)習的來龍去脈。

2.1 機器學(xué)習的實現(xiàn)

機器學(xué)習的實現(xiàn)可以分成兩步:訓(xùn)練和預(yù)測,類似于歸納和演繹:

歸納:從具體案例中抽象一般規(guī)律,機器學(xué)習中的“訓(xùn)練”亦是如此。從一定數(shù)量的樣本(已知模型輸入X和模型輸出Y)中,學(xué)習輸出Y與輸入X的關(guān)系(可以想象成是某種表達式)。

演繹:從一般規(guī)律推導(dǎo)出具體案例的結(jié)果,機器學(xué)習中的“預(yù)測”亦是如此。基于訓(xùn)練得到的Y與X之間的關(guān)系,如出現(xiàn)新的輸入X,計算出輸出Y。通常情況下,如果通過模型計算的輸出和真實場景的輸出一致,則說明模型是有效的。

2.2 機器學(xué)習的方法論

機器學(xué)習的方法論和人類科研的過程有著異曲同工之妙,下面以“機器從牛頓第二定律實驗中學(xué)習知識”為例,幫助讀者更加深入理解機器學(xué)習(監(jiān)督學(xué)習)的方法論本質(zhì),即在“機器思考”的過程中確定模型的三個關(guān)鍵要素:假設(shè)、評價、優(yōu)化。

2.2.1 案例:機器從牛頓第二定律實驗中學(xué)習知識

牛頓第二定律

牛頓第二定律是艾薩克·牛頓在1687年于《自然哲學(xué)的數(shù)學(xué)原理》一書中提出的,其常見表述:物體加速度的大小跟作用力成正比,跟物體的質(zhì)量成反比,與物體質(zhì)量的倒數(shù)成正比。牛頓第二運動定律和第一、第三定律共同組成了牛頓運動定律,闡述了經(jīng)典力學(xué)中基本的運動規(guī)律。

在中學(xué)課本中,牛頓第二定律有兩種實驗設(shè)計方法:傾斜滑動法和水平拉線法,如圖2所示。

4e5f317e-cbdd-11ed-bfe3-dac502259ad0.jpg

圖2:牛頓第二定律實驗設(shè)計方法

相信很多讀者都有擺弄滑輪和小木塊做物理實驗的青澀年代和美好回憶。通過多次實驗數(shù)據(jù),可以統(tǒng)計出如表1所示的不同作用力下的木塊加速度。

4e754f7c-cbdd-11ed-bfe3-dac502259ad0.png

表1:實驗獲取的大量數(shù)據(jù)樣本和觀測結(jié)果

觀察實驗數(shù)據(jù)不難猜測,物體的加速度a和作用力F之間的關(guān)系應(yīng)該是線性關(guān)系。因此我們提出假設(shè)4e88f338-cbdd-11ed-bfe3-dac502259ad0.png,其中,a代表加速度,F(xiàn)代表作用力,w是待確定的參數(shù)。

通過大量實驗數(shù)據(jù)的訓(xùn)練,確定參數(shù)w是物體質(zhì)量的倒數(shù)(1/m),即得到完整的模型公式4e987a38-cbdd-11ed-bfe3-dac502259ad0.png。當已知作用到某個物體的力時,基于模型可以快速預(yù)測物體的加速度。例如:燃料對火箭的推力F=10,火箭的質(zhì)量m=2,可快速得出火箭的加速度a=5。

2.2.2 如何確定模型參數(shù)?

這個有趣的案例演示了機器學(xué)習的基本過程,但其中有一個關(guān)鍵點的實現(xiàn)尚不清晰,即:如何確定模型參數(shù)(4ea77f74-cbdd-11ed-bfe3-dac502259ad0.png)?

確定參數(shù)的過程與科學(xué)家提出假說的方式類似,合理的假說可以最大化的解釋所有的已知觀測數(shù)據(jù)。如果未來觀測到不符合理論假說的新數(shù)據(jù),科學(xué)家會嘗試提出新的假說。如:天文史上,使用大圓和小圓組合的方式計算天體運行,在中世紀是可以擬合觀測數(shù)據(jù)的。但隨著歐洲工業(yè)革命的推動,天文觀測設(shè)備逐漸強大,已有的理論已經(jīng)無法解釋越來越多的觀測數(shù)據(jù),這促進了使用橢圓計算天體運行的理論假說出現(xiàn)。因此,模型有效的基本條件是能夠擬合已知的樣本,這給我們提供了學(xué)習有效模型的實現(xiàn)方案。

圖3是以H為模型的假設(shè),它是一個關(guān)于參數(shù)w和輸入x的函數(shù),用4eb7f7fa-cbdd-11ed-bfe3-dac502259ad0.png?表示。模型的優(yōu)化目標是4eb7f7fa-cbdd-11ed-bfe3-dac502259ad0.png的輸出與真實輸出Y盡量一致,兩者的相差程度即是模型效果的評價函數(shù)(相差越小越好)。那么,確定參數(shù)的過程就是在已知的樣本上,不斷減小該評價函數(shù)(H和Y的差距)的過程。直到模型學(xué)習到一個參數(shù)w,使得評價函數(shù)的值最小,衡量模型預(yù)測值和真實值差距的評價函數(shù)也被稱為損失函數(shù)(損失Loss)。

4edcb6bc-cbdd-11ed-bfe3-dac502259ad0.jpg

圖3:確定模型參數(shù)示意圖

假設(shè)機器通過嘗試答對(最小化損失)大量的習題(已知樣本)來學(xué)習知識(模型參數(shù)w),并期望用學(xué)習到的知識所代表的模型4eb7f7fa-cbdd-11ed-bfe3-dac502259ad0.png,回答不知道答案的考試題(未知樣本)。最小化損失是模型的優(yōu)化目標,實現(xiàn)損失最小化的方法稱為優(yōu)化算法,也稱為尋解算法(找到使得損失函數(shù)最小的參數(shù)解)。參數(shù)w和輸入x組成公式的基本結(jié)構(gòu)稱為假設(shè)。在牛頓第二定律的案例中,基于對數(shù)據(jù)的觀測,我們提出了線性假設(shè),即作用力和加速度是線性關(guān)系,用線性方程表示。由此可見,模型假設(shè)、評價函數(shù)(損失/優(yōu)化目標)和優(yōu)化算法是構(gòu)成模型的三個關(guān)鍵要素。

2.2.3 模型結(jié)構(gòu)

模型假設(shè)、評價函數(shù)和優(yōu)化算法是如何支撐機器學(xué)習流程的呢?如圖4所示。

4f056b34-cbdd-11ed-bfe3-dac502259ad0.png

圖4:機器學(xué)習流程

模型假設(shè):世界上的可能關(guān)系千千萬,漫無目標的試探Y(jié)~X之間的關(guān)系顯然是十分低效的。因此假設(shè)空間先圈定了一個模型能夠表達的關(guān)系可能,如藍色圓圈所示。機器還會進一步在假設(shè)圈定的圓圈內(nèi)尋找最優(yōu)的Y~X關(guān)系,即確定參數(shù)w。

評價函數(shù):尋找最優(yōu)之前,我們需要先定義什么是最優(yōu),即評價一個Y~X關(guān)系的好壞的指標。通常衡量該關(guān)系是否能很好的擬合現(xiàn)有觀測樣本,將擬合的誤差最小作為優(yōu)化目標。

優(yōu)化算法:設(shè)置了評價指標后,就可以在假設(shè)圈定的范圍內(nèi),將使得評價指標最優(yōu)(損失函數(shù)最小/最擬合已有觀測樣本)的Y~X關(guān)系找出來,這個尋找最優(yōu)解的方法即為優(yōu)化算法。最笨的優(yōu)化算法即按照參數(shù)的可能,窮舉每一個可能取值來計算損失函數(shù),保留使得損失函數(shù)最小的參數(shù)作為最終結(jié)果。

從上述過程可以得出,機器學(xué)習的過程與牛頓第二定律的學(xué)習過程基本一致,都分為假設(shè)、評價和優(yōu)化三個階段:

假設(shè):通過觀察加速度a和作用力F的觀測數(shù)據(jù),假設(shè)a和F是線性關(guān)系,即4e88f338-cbdd-11ed-bfe3-dac502259ad0.png。

評價:對已知觀測數(shù)據(jù)上的擬合效果好,即4f3734de-cbdd-11ed-bfe3-dac502259ad0.png計算的結(jié)果要和觀測的a盡量接近。

優(yōu)化:在參數(shù)w的所有可能取值中,發(fā)現(xiàn)4ea77f74-cbdd-11ed-bfe3-dac502259ad0.png可使得評價最好(最擬合觀測樣本)。

機器執(zhí)行學(xué)習任務(wù)的框架體現(xiàn)了其學(xué)習的本質(zhì)是“參數(shù)估計”(Learning is parameter estimation)。

上述方法論使用更規(guī)范化的表示如圖5所示,未知目標函數(shù)f,以訓(xùn)練樣本

4f59e808-cbdd-11ed-bfe3-dac502259ad0.png

為依據(jù)。從假設(shè)集合H中,通過學(xué)習算法A找到一個函數(shù)g。如果g能夠最大程度的擬合訓(xùn)練樣本D,那么可以認為函數(shù)g就接近于目標函數(shù)f。

4f73794e-cbdd-11ed-bfe3-dac502259ad0.png

圖5:規(guī)范化表示

在此基礎(chǔ)上,許多看起來完全不一樣的問題都可以使用同樣的框架進行學(xué)習,如科學(xué)定律、圖像識別、機器翻譯和自動問答等,它們的學(xué)習目標都是擬合一個“大公式f”,如圖6所示。

4f92fa94-cbdd-11ed-bfe3-dac502259ad0.png

圖6:機器學(xué)習就是擬合一個“大公式”

3. 深度學(xué)習

機器學(xué)習算法理論在上個世紀90年代發(fā)展成熟,在許多領(lǐng)域都取得了成功,但平靜的日子只延續(xù)到2010年左右。隨著大數(shù)據(jù)的涌現(xiàn)和計算機算力提升,深度學(xué)習模型異軍突起,極大改變了機器學(xué)習的應(yīng)用格局。今天,多數(shù)機器學(xué)習任務(wù)都可以使用深度學(xué)習模型解決,尤其在語音、計算機視覺和自然語言處理等領(lǐng)域,深度學(xué)習模型的效果比傳統(tǒng)機器學(xué)習算法有顯著提升。

相比傳統(tǒng)的機器學(xué)習算法,深度學(xué)習做出了哪些改進呢?其實兩者在理論結(jié)構(gòu)上是一致的,即:模型假設(shè)、評價函數(shù)和優(yōu)化算法,其根本差別在于假設(shè)的復(fù)雜度。如圖6第二個示例(圖像識別)所示,對于美女照片,人腦可以接收到五顏六色的光學(xué)信號,能快速反應(yīng)出這張圖片是一位美女,而且是程序員喜歡的類型。但對計算機而言,只能接收到一個數(shù)字矩陣,對于美女這種高級的語義概念,從像素到高級語義概念中間要經(jīng)歷的信息變換的復(fù)雜性是難以想象的,如圖7所示。

4faa43fc-cbdd-11ed-bfe3-dac502259ad0.png

圖7:深度學(xué)習的模型復(fù)雜度難以想象

這種變換已經(jīng)無法用數(shù)學(xué)公式表達,因此研究者們借鑒了人腦神經(jīng)元的結(jié)構(gòu),設(shè)計出神經(jīng)網(wǎng)絡(luò)的模型,如圖8所示。圖8(a)展示了神經(jīng)網(wǎng)絡(luò)基本單元-感知機的設(shè)計方案,其處理信息的方式與人腦中的單一神經(jīng)元有很強的相似性;圖8(b)展示了幾種經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(后續(xù)的章節(jié)中會詳細闡述),類似于人腦中多種基于大量神經(jīng)元連接而形成的不同職能的器官。

4fcce786-cbdd-11ed-bfe3-dac502259ad0.png

圖8:模擬人腦結(jié)構(gòu),針對各種任務(wù)設(shè)計不同的深度學(xué)習模型

3.1 神經(jīng)網(wǎng)絡(luò)的基本概念

人工神經(jīng)網(wǎng)絡(luò)包括多個神經(jīng)網(wǎng)絡(luò)層,如:卷積層、全連接層、LSTM等,每一層又包括很多神經(jīng)元,超過三層的非線性神經(jīng)網(wǎng)絡(luò)都可以被稱為深度神經(jīng)網(wǎng)絡(luò)。通俗的講,深度學(xué)習的模型可以視為是輸入到輸出的映射函數(shù),如圖像到高級語義(美女)的映射,足夠深的神經(jīng)網(wǎng)絡(luò)理論上可以擬合任何復(fù)雜的函數(shù)。因此神經(jīng)網(wǎng)絡(luò)非常適合學(xué)習樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次,對文字、圖像和語音任務(wù)有很好的適用性。這幾個領(lǐng)域的任務(wù)是人工智能的基礎(chǔ)模塊,因此深度學(xué)習被稱為實現(xiàn)人工智能的基礎(chǔ)也就不足為奇了。

神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)如圖9所示。

4fea7972-cbdd-11ed-bfe3-dac502259ad0.png

圖9:神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)示意圖

神經(jīng)元:神經(jīng)網(wǎng)絡(luò)中每個節(jié)點稱為神經(jīng)元,由兩部分組成:

加權(quán)和:將所有輸入加權(quán)求和。

非線性變換(激活函數(shù)):加權(quán)和的結(jié)果經(jīng)過一個非線性函數(shù)變換,讓神經(jīng)元計算具備非線性的能力。

多層連接:大量這樣的節(jié)點按照不同的層次排布,形成多層的結(jié)構(gòu)連接起來,即稱為神經(jīng)網(wǎng)絡(luò)。

前向計算:從輸入計算輸出的過程,順序從網(wǎng)絡(luò)前至后。

計算圖:以圖形化的方式展現(xiàn)神經(jīng)網(wǎng)絡(luò)的計算邏輯又稱為計算圖,也可以將神經(jīng)網(wǎng)絡(luò)的計算圖以公式的方式表達:

50086bb2-cbdd-11ed-bfe3-dac502259ad0.png

由此可見,神經(jīng)網(wǎng)絡(luò)并沒有那么神秘,它的本質(zhì)是一個含有很多參數(shù)的“大公式”。如果大家感覺這些概念仍過于抽象,理解的不夠透徹,先不用著急,下一章會以“房價預(yù)測”為例,演示使用Python實現(xiàn)神經(jīng)網(wǎng)絡(luò)模型的細節(jié)。

3.2 深度學(xué)習的發(fā)展歷程

神經(jīng)網(wǎng)絡(luò)思想的提出已經(jīng)是70多年前的事情了,現(xiàn)今的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習的設(shè)計理論是一步步趨于完善的。在這漫長的發(fā)展歲月中,一些取得關(guān)鍵突破的閃光時刻,值得深度學(xué)習愛好者們銘記,如圖10所示。

501647a0-cbdd-11ed-bfe3-dac502259ad0.png

圖10:深度學(xué)習發(fā)展歷程

1940年代:首次提出神經(jīng)元的結(jié)構(gòu),但權(quán)重是不可學(xué)的。

50-60年代:提出權(quán)重學(xué)習理論,神經(jīng)元結(jié)構(gòu)趨于完善,開啟了神經(jīng)網(wǎng)絡(luò)的第一個黃金時代。

1969年:提出異或問題(人們驚訝的發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型連簡單的異或問題也無法解決,對其的期望從云端跌落到谷底),神經(jīng)網(wǎng)絡(luò)模型進入了被束之高閣的黑暗時代。

1986年:新提出的多層神經(jīng)網(wǎng)絡(luò)解決了異或問題,但隨著90年代后理論更完備并且實踐效果更好的SVM等機器學(xué)習模型的興起,神經(jīng)網(wǎng)絡(luò)并未得到重視。

2010年左右:深度學(xué)習進入真正興起時期。隨著神經(jīng)網(wǎng)絡(luò)模型改進的技術(shù)在語音和計算機視覺任務(wù)上大放異彩,也逐漸被證明在更多的任務(wù),如自然語言處理以及海量數(shù)據(jù)的任務(wù)上更加有效。至此,神經(jīng)網(wǎng)絡(luò)模型重新煥發(fā)生機,并有了一個更加響亮的名字:深度學(xué)習。

為何神經(jīng)網(wǎng)絡(luò)到2010年后才煥發(fā)生機呢?這與深度學(xué)習成功所依賴的先決條件:大數(shù)據(jù)涌現(xiàn)、硬件發(fā)展和算法優(yōu)化有關(guān)。

大數(shù)據(jù)是神經(jīng)網(wǎng)絡(luò)發(fā)展的有效前提。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習是非常強大的模型,需要足夠量級的訓(xùn)練數(shù)據(jù)。時至今日,之所以很多傳統(tǒng)機器學(xué)習算法和人工特征依然是足夠有效的方案,原因在于很多場景下沒有足夠的標記數(shù)據(jù)來支撐深度學(xué)習。深度學(xué)習的能力特別像科學(xué)家阿基米德的豪言壯語:“給我一根足夠長的杠桿,我能撬動地球!”。深度學(xué)習也可以發(fā)出類似的豪言:“給我足夠多的數(shù)據(jù),我能夠?qū)W習任何復(fù)雜的關(guān)系”。但在現(xiàn)實中,足夠長的杠桿與足夠多的數(shù)據(jù)一樣,往往只能是一種美好的愿景。直到近些年,各行業(yè)IT化程度提高,累積的數(shù)據(jù)量爆發(fā)式地增長,才使得應(yīng)用深度學(xué)習模型成為可能。

依靠硬件的發(fā)展和算法的優(yōu)化?,F(xiàn)階段,依靠更強大的計算機、GPU、autoencoder預(yù)訓(xùn)練和并行計算等技術(shù),深度學(xué)習在模型訓(xùn)練上的困難已經(jīng)被逐漸克服。其中,數(shù)據(jù)量和硬件是更主要的原因。沒有前兩者,科學(xué)家們想優(yōu)化算法都無從進行。

3.3 深度學(xué)習的研究和應(yīng)用蓬勃發(fā)展

早在1998年,一些科學(xué)家就已經(jīng)使用神經(jīng)網(wǎng)絡(luò)模型識別手寫數(shù)字圖像了。但深度學(xué)習在計算機視覺應(yīng)用上的興起,還是在2012年ImageNet比賽上,使用AlexNet做圖像分類。如果比較下1998年和2012年的模型,會發(fā)現(xiàn)兩者在網(wǎng)絡(luò)結(jié)構(gòu)上非常類似,僅在細節(jié)上有所優(yōu)化。在這十四年間,計算性能的大幅提升和數(shù)據(jù)量的爆發(fā)式增長,促使模型完成了從“簡單的數(shù)字識別”到“復(fù)雜的圖像分類”的跨越。

雖然歷史悠久,但深度學(xué)習在今天依然在蓬勃發(fā)展,一方面基礎(chǔ)研究快速發(fā)展,另一方面工業(yè)實踐層出不窮?;谏疃葘W(xué)習的頂級會議ICLR(International Conference on Learning Representations)統(tǒng)計,深度學(xué)習相關(guān)的論文數(shù)量呈逐年遞增的狀態(tài),如圖11所示。同時,不僅僅是深度學(xué)習會議,與數(shù)據(jù)和模型技術(shù)相關(guān)的會議ICML和KDD,專注視覺的CVPR和專注自然語言處理的EMNLP等國際會議的大量論文均涉及著深度學(xué)習技術(shù)。該領(lǐng)域和相關(guān)領(lǐng)域的研究方興未艾,技術(shù)仍在不斷創(chuàng)新突破中。

504c1af6-cbdd-11ed-bfe3-dac502259ad0.png

圖11:深度學(xué)習相關(guān)論文數(shù)量逐年攀升

另一方面,以深度學(xué)習為基礎(chǔ)的人工智能技術(shù),在升級改造眾多的傳統(tǒng)行業(yè)領(lǐng)域,存在極其廣闊的應(yīng)用場景。圖12選自艾瑞咨詢的研究報告,人工智能技術(shù)不僅可在眾多行業(yè)中落地應(yīng)用(廣度),同時,在部分行業(yè)(如安防、遙感、互聯(lián)網(wǎng)、金融、工業(yè)等)已經(jīng)實現(xiàn)了市場化變現(xiàn)和高速增長(深度),為社會貢獻了巨大的經(jīng)濟價值。

505c9408-cbdd-11ed-bfe3-dac502259ad0.png

圖12:以深度學(xué)習為基礎(chǔ)的AI技術(shù)在各行業(yè)廣泛應(yīng)用

如圖13所示,以計算機視覺的行業(yè)應(yīng)用分布為例,根據(jù)IDC的數(shù)據(jù)統(tǒng)計和預(yù)測,隨著人工智能向各個行業(yè)的滲透,當前較多運用人工智能的互聯(lián)網(wǎng)行業(yè)的產(chǎn)值占比反而會逐漸變小。

5089c202-cbdd-11ed-bfe3-dac502259ad0.png

圖13:以深度學(xué)習為基礎(chǔ)的AI技術(shù)在各行業(yè)廣泛應(yīng)用

3.4 深度學(xué)習改變了AI應(yīng)用的研發(fā)模式

3.4.1 實現(xiàn)了端到端的學(xué)習

深度學(xué)習改變了很多領(lǐng)域算法的實現(xiàn)模式。在深度學(xué)習興起之前,很多領(lǐng)域建模的思路是投入大量精力做特征工程,將專家對某個領(lǐng)域的“人工理解”沉淀成特征表達,然后使用簡單模型完成任務(wù)(如分類或回歸)。而在數(shù)據(jù)充足的情況下,深度學(xué)習模型可以實現(xiàn)端到端的學(xué)習,即不需要專門做特征工程,將原始的特征輸入模型中,模型可同時完成特征提取和分類任務(wù),如圖14所示。

509db410-cbdd-11ed-bfe3-dac502259ad0.png

圖14:深度學(xué)習實現(xiàn)了端到端的學(xué)習

以計算機視覺任務(wù)為例,特征工程是諸多圖像科學(xué)家基于人類對視覺理論的理解,設(shè)計出來的一系列提取特征的計算步驟,典型如SIFT特征。在2010年之前的計算機視覺領(lǐng)域,人們普遍使用SIFT一類特征+SVM一類的簡單淺層模型完成建模任務(wù)。

說明:

SIFT特征由David Lowe在1999年提出,在2004年加以完善。SIFT特征是基于物體上的一些局部外觀的興趣點而與影像的大小和旋轉(zhuǎn)無關(guān)。對于光線、噪聲、微視角改變的容忍度也相當高?;谶@些特性,它們是高度顯著而且相對容易擷取,在母數(shù)龐大的特征數(shù)據(jù)庫中,很容易辨識物體而且鮮有誤認。使用SIFT特征描述對于部分物體遮蔽的偵測率也相當高,甚至只需要3個以上的SIFT物體特征就足以計算出位置與方位。在現(xiàn)今的電腦硬件速度下和小型的特征數(shù)據(jù)庫條件下,辨識速度可接近即時運算。SIFT特征的信息量大,適合在海量數(shù)據(jù)庫中快速準確匹配。

3.4.2 實現(xiàn)了深度學(xué)習框架標準化

除了應(yīng)用廣泛的特點外,深度學(xué)習還推動人工智能進入工業(yè)大生產(chǎn)階段,算法的通用性導(dǎo)致標準化、自動化和模塊化的框架產(chǎn)生,如圖15所示。

50bb15aa-cbdd-11ed-bfe3-dac502259ad0.png

圖15:深度學(xué)習模型具有通用性特點

在此之前,不同流派的機器學(xué)習算法理論和實現(xiàn)均不同,導(dǎo)致每個算法均要獨立實現(xiàn),如隨機森林和支撐向量機(SVM)。但在深度學(xué)習框架下,不同模型的算法結(jié)構(gòu)有較大的通用性,如常用于計算機視覺的卷積神經(jīng)網(wǎng)絡(luò)模型(CNN)和常用于自然語言處理的長期短期記憶模型(LSTM),都可以分為組網(wǎng)模塊、梯度下降的優(yōu)化模塊和預(yù)測模塊等。這使得抽象出統(tǒng)一的框架成為了可能,并大大降低了編寫建模代碼的成本。一些相對通用的模塊,如網(wǎng)絡(luò)基礎(chǔ)算子的實現(xiàn)、各種優(yōu)化算法等都可以由框架實現(xiàn)。建模者只需要關(guān)注數(shù)據(jù)處理,配置組網(wǎng)的方式,以及用少量代碼串起訓(xùn)練和預(yù)測的流程即可。

在深度學(xué)習框架出現(xiàn)之前,機器學(xué)習工程師處于“手工作坊”生產(chǎn)的時代。為了完成建模,工程師需要儲備大量數(shù)學(xué)知識,并為特征工程工作積累大量行業(yè)知識。每個模型是極其個性化的,建模者如同手工業(yè)者一樣,將自己的積累形成模型的“個性化簽名”。而今,“深度學(xué)習工程師”進入了工業(yè)化大生產(chǎn)時代,只要掌握深度學(xué)習必要但少量的理論知識,掌握Python編程,即可在深度學(xué)習框架上實現(xiàn)非常有效的模型,甚至與該領(lǐng)域最領(lǐng)先的模型不相上下。建模領(lǐng)域的技術(shù)壁壘面臨著顛覆,也是新入行者的機遇。

50cea3b8-cbdd-11ed-bfe3-dac502259ad0.png

圖16:深度學(xué)習框架大大減低了AI建模難度

4. 人工智能的職業(yè)發(fā)展空間廣闊

哲學(xué)家們告訴我們,做我們所喜歡的,然后成功就會隨之而來。

—— 沃倫 · 巴菲特 (全球著名的投資家)

相信本課程的讀者中有很多在校籌備找工作的同學(xué)和職場中期望轉(zhuǎn)型的工程師, 大家普遍對人工智能的職業(yè)發(fā)展非常關(guān)心。下面就從經(jīng)濟回報的視角,分析下人工智能是不是一個有前途的職業(yè)。坦率的說,如巴菲特所言,選擇一個自己喜歡的職業(yè)是真正的好職業(yè)。但對于多數(shù)普通人,經(jīng)濟回報也是職業(yè)選擇的重要考慮因素。一個有高經(jīng)濟回報的職業(yè)一定是市場需求遠遠大于市場供給的職業(yè),且市場需求要保持長期的增長,而市場供給難以中短期得到補充。

人工智能崗位的市場需求旺盛

根據(jù)各大咨詢公司的行業(yè)研究報告,人工智能相關(guān)產(chǎn)業(yè)在未來十年預(yù)計有30%~40%的年增長率。一方面,人工智能的應(yīng)用會從互聯(lián)網(wǎng)行業(yè)逐漸擴展到金融、工業(yè)、農(nóng)業(yè)、能源、城市、交通、醫(yī)療、教育等更廣泛的行業(yè),應(yīng)用空間和潛力巨大;另一方面,受限于工智能技術(shù)本身的成熟度以及人工智能落地要結(jié)合場景的數(shù)據(jù)處理、系統(tǒng)改造和業(yè)務(wù)流程優(yōu)化等條件的制約,人工智能應(yīng)用的價值釋放過程會相對緩慢。這使得市場對人工智能的崗位需求形成了一條穩(wěn)步又長期增長的曲線,與互聯(lián)網(wǎng)行業(yè)相比,對多數(shù)的求職者更加友好,如圖17所示。

互聯(lián)網(wǎng)行業(yè)由于技術(shù)成熟周期短,應(yīng)用落地的推進速度快,反而形成一條增長率更高(年增長率超過100%)但增長周期更短的曲線(電腦互聯(lián)網(wǎng)時代10年,移動互聯(lián)網(wǎng)時代10年)。當行業(yè)增長達到頂峰,對崗位的需求也會相應(yīng)回落,如同2021年底的互聯(lián)網(wǎng)行業(yè)的現(xiàn)狀。

50e8c3ec-cbdd-11ed-bfe3-dac502259ad0.png

圖17:人工智能崗位的市場供給對比

復(fù)合型人才成為市場剛需

在人工智能落地到千行萬業(yè)的過程中,企業(yè)需求量最大、也最為迫切的是既懂行業(yè)知識和場景,又懂人工智能理論,還具備實踐能力和經(jīng)驗的“復(fù)合型人才”。成為“復(fù)合型人才”不僅需要學(xué)習書本知識,還要大量進行產(chǎn)業(yè)實踐,使得這種人才有成長深度,供給增長緩慢。從上述分析可見,當人工智能產(chǎn)業(yè)在未來幾十年保持穩(wěn)定的增長,而產(chǎn)業(yè)需要的“復(fù)合型人才”又難以大量供給的情況下,人工智能應(yīng)用研發(fā)崗位會維持一個很好的經(jīng)濟回報。

人生天地之間,若白駒過隙,忽然而已,每個人都希望留下自己的足跡。為何要學(xué)習深度學(xué)習技術(shù),以及如何通過這本書來學(xué)習呢?一方面,深度學(xué)習的應(yīng)用前景廣闊,是極好的發(fā)展方向和職業(yè)選擇。另一方面,本書會使用國產(chǎn)的深度學(xué)習框架飛槳(PaddlePaddle)來編寫實踐案例,基于框架的編程讓深度學(xué)習變得易學(xué)易用。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3226

    瀏覽量

    48807
  • 機器學(xué)習
    +關(guān)注

    關(guān)注

    66

    文章

    8406

    瀏覽量

    132558
  • 深度學(xué)習
    +關(guān)注

    關(guān)注

    73

    文章

    5500

    瀏覽量

    121111

原文標題:【深度學(xué)習】深度學(xué)習綜述

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    深度學(xué)習研究和應(yīng)用發(fā)展,人工智能/機器學(xué)習/深度學(xué)習關(guān)系

    區(qū)別于人工智能,機器學(xué)習、尤其是監(jiān)督學(xué)習則有更加明確的指代。機器學(xué)習是專門研究計算機怎樣模擬或?qū)?/div>
    發(fā)表于 03-28 11:11 ?1756次閱讀

    人工智能機器學(xué)習的前世今生

    摘要: 閱讀本文以了解更多關(guān)于人工智能、機器學(xué)習深度學(xué)習方面的知識,以及它們對商業(yè)化意味著什么。如果正確的利用模式識別進行商業(yè)預(yù)測和決策,
    發(fā)表于 08-27 10:16

    人工智能、數(shù)據(jù)挖掘、機器學(xué)習深度學(xué)習關(guān)系

    人工智能、數(shù)據(jù)挖掘、機器學(xué)習深度學(xué)習之間,主要有什么關(guān)系
    發(fā)表于 03-16 11:35

    python人工智能/機器學(xué)習基礎(chǔ)是什么

    python人工智能——機器學(xué)習——機器學(xué)習基礎(chǔ)
    發(fā)表于 04-28 14:46

    人工智能基本概念機器學(xué)習算法

    目錄人工智能基本概念機器學(xué)習算法1. 決策樹2. KNN3. KMEANS4. SVM5. 線性回歸深度學(xué)習算法1. BP2. GANs3.
    發(fā)表于 09-06 08:21

    什么是人工智能、機器學(xué)習、深度學(xué)習和自然語言處理?

    領(lǐng)域,包括機器學(xué)習、深度學(xué)習、數(shù)據(jù)挖掘、計算機視覺、自然語言處理和其他幾個學(xué)科。首先,人工智能涉及使計算機具有自我意識,利用計算機視覺、自然
    發(fā)表于 03-22 11:19

    人工智能深度學(xué)習機器學(xué)習的基礎(chǔ)知識及其關(guān)系

    學(xué)習 tensorflow,caffe 等深度學(xué)習框架前,需要先了解一些基礎(chǔ)概念。本文以筆記的形式記錄了一個零基礎(chǔ)的小白需要先了解的一些基礎(chǔ)概念。 人工智能,
    發(fā)表于 11-15 15:30 ?1.4w次閱讀
    <b class='flag-5'>人工智能</b><b class='flag-5'>深度</b><b class='flag-5'>學(xué)習</b>和<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習</b>的基礎(chǔ)知識及其<b class='flag-5'>關(guān)系</b>

    人工智能、機器學(xué)習、深度學(xué)習三者關(guān)系分析

    1、人工智能、機器學(xué)習、深度學(xué)習三者關(guān)系 對于很多初入學(xué)習
    發(fā)表于 01-04 04:44 ?4713次閱讀
    <b class='flag-5'>人工智能</b>、<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習</b>、<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習</b>三者<b class='flag-5'>關(guān)系</b>分析

    淺談人工智能機器學(xué)習,深度學(xué)習三者關(guān)系

    大數(shù)據(jù)人工智能技術(shù),在應(yīng)用層面包括機器學(xué)習、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習等,它們都是現(xiàn)代人工智能的核心技術(shù)
    發(fā)表于 07-01 10:17 ?1982次閱讀

    人工智能、機器學(xué)習、深度學(xué)習有什么關(guān)系?

    有三個詞,這兩年出現(xiàn)的頻率越來越高:人工智能(AI),機器學(xué)習(ML),深度學(xué)習(DL),到底他們哥仨是什么
    的頭像 發(fā)表于 06-08 15:19 ?1.2w次閱讀

    人工智能/機器學(xué)習/深度學(xué)習關(guān)系

    機器學(xué)習”“人工智能”“深度學(xué)習”這三個詞常常被人混淆,但其實它們出現(xiàn)的時間相隔甚遠,“人工智能
    的頭像 發(fā)表于 01-03 15:29 ?8086次閱讀
    <b class='flag-5'>人工智能</b>/<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習</b>/<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習</b>的<b class='flag-5'>關(guān)系</b>

    機器學(xué)習人工智能深度學(xué)習有什么關(guān)系?

    ?導(dǎo)讀:“機器學(xué)習”一詞往往被與“人工智能”“深度學(xué)習”混用,也常與“大數(shù)據(jù)”一詞一同出現(xiàn)。下面首先簡要介紹它們的
    的頭像 發(fā)表于 01-12 17:17 ?4093次閱讀

    人工智能機器學(xué)習、深度學(xué)習的區(qū)別

    人工智能包含了機器學(xué)習深度學(xué)習。你可以在圖中看到,機器學(xué)習
    的頭像 發(fā)表于 03-29 11:04 ?1484次閱讀
    <b class='flag-5'>人工智能</b>與<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習</b>、<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習</b>的區(qū)別
    RM新时代网站-首页