??預(yù)計(jì)到2025?年全球3D?視覺感知市場規(guī)模達(dá)到150?億美元,年復(fù)合增長率(CAGR)達(dá)?20%
??發(fā)源于工業(yè),3D視覺技術(shù)快速迭代。
1)3D視覺感知技術(shù)最早被用于工業(yè)領(lǐng)域的測量和掃描。在技術(shù)剛剛誕生時(shí),主要被用于工業(yè)設(shè)備和零部件的高精度三維測量、物體和材料的微小形變測量等。在多家公司的積極推廣下,3D視覺感知技術(shù)快速發(fā)展,在過去10?年內(nèi)初步實(shí)現(xiàn)了從工業(yè)往消費(fèi)電子領(lǐng)域延申的變革。
2)3D視覺目前主要有四種技術(shù)路線:激光三角測量、結(jié)構(gòu)光、飛行時(shí)間(ToF)、多目視覺等是 3D 視覺目前主要的幾種技術(shù)路線。幾種技術(shù)路線的不同之處主要在于發(fā)射紅外光獲取數(shù)據(jù)的方式不同。
??應(yīng)用領(lǐng)域持續(xù)拓展,打開3D 視覺廣闊空間。
1)據(jù)Yole Devolopement預(yù)測,全球3D視覺感知市場規(guī)模在2025年將達(dá)到150?億美元,CAGR達(dá) 20%。
2)目前,3D視覺技術(shù)的主要下游行業(yè)主要包括消費(fèi)電子、汽車(自動駕駛與智能座艙)、鋰電、半導(dǎo)體、AIOT、工業(yè)自動化等。根據(jù) Yole Devolopement 的預(yù)測,未來消費(fèi)電子類和智能汽車行業(yè)是3D視覺市場擴(kuò)容的重要推動力。
? 3D 視覺感知技術(shù)最早被用于工業(yè)領(lǐng)域的測量和掃描。
在技術(shù)剛剛誕生時(shí),主要被用于工業(yè)設(shè)備和零部件的高精度三維測量、物體和材料的微小形變測量等。為了能夠適應(yīng)工業(yè)領(lǐng)域嚴(yán)苛的工況,并且滿足精確到微米級別的測量精度,3D視覺測量設(shè)備一般需要多種技術(shù)融合使用,比如利用相位結(jié)構(gòu)光以及高精度工業(yè)相機(jī)組成工業(yè)三維測量儀器。這會導(dǎo)致設(shè)備成本高、體積大、功耗高,應(yīng)用普及緩慢。在這個(gè)階段,市場上主要的玩家為德國高慕公司(GOM)、瑞典??怂箍担℉EXAGON)、美國 CSI 公司等。這些公司的設(shè)備主要應(yīng)用于測量工業(yè)零部件三維尺寸和形變,對工業(yè)部件實(shí)現(xiàn)高精度3D 數(shù)字化作業(yè)等。
??3D?視覺目前主要有四種技術(shù)路線
激光三角測量、結(jié)構(gòu)光、飛行時(shí)間(ToF)、多目視覺等是 3D 視覺目前主要的幾種技術(shù)路線。幾種技術(shù)路線的不同之處主要在于發(fā)射紅外光獲取數(shù)據(jù)的方式不同。
a)?激光三角測量:
工作原理:采用激光線掃描物體表面,觀察激光線的變形以獲取物體表面的深度數(shù)據(jù)。
特點(diǎn):其精度非常高,可達(dá)微米級。但其掃描速度和工作范圍有限。盡管如此,它在在線檢測中仍得到了廣泛應(yīng)用,尤其是因?yàn)槠涓呔群蛣討B(tài)測速性能。
b)?結(jié)構(gòu)光:
工作原理:根據(jù)投影光束形態(tài)的不同,結(jié)構(gòu)光法又可分為光點(diǎn)式結(jié)構(gòu)光法、光條式結(jié)構(gòu)光法和光面式結(jié)構(gòu)光法等。通過被測物體反射回來的光柵與參考光柵之間的幾何關(guān)系,分析得到每一個(gè)被測點(diǎn)之間的高度差和深度信息。
特點(diǎn):計(jì)算簡單,測量精度較高,對于平坦的、無明顯紋理和形狀變化的表面區(qū)域都可進(jìn)行精密的測量。其缺點(diǎn)是對設(shè)備和外界光線要求高,造價(jià)昂貴。目前,結(jié)構(gòu)光法主要應(yīng)用在條件良好的室內(nèi)。
c)?飛行時(shí)間(ToF):
工作原理:基于發(fā)射和反射光之間的時(shí)間延遲來測量物體的深度。
特點(diǎn):與結(jié)構(gòu)光相比,ToF不需要復(fù)雜的光模式解析,具有較高的魯棒性。其深度圖質(zhì)量和精度都較好,但對于某些材質(zhì),如玻璃,可能存在挑戰(zhàn)。ToF技術(shù)較為復(fù)雜,成本相對較高。
d)?立體視覺法:
工作原理:使用兩個(gè)或多個(gè)RGB 彩色相機(jī)獲取圖像,并通過雙目匹配、三角測量等算法來得到深度信息。
特點(diǎn):這是一種被動的3D 測量技術(shù),硬件需求相對較低,但計(jì)算復(fù)雜度高。在弱光或目標(biāo)特征不明顯的情況下,其表現(xiàn)可能不佳。在工業(yè)自動化和X86 系統(tǒng)中,雙目相機(jī)得到了廣泛的應(yīng)用。
??應(yīng)用領(lǐng)域持續(xù)拓展,打開3D?視覺廣闊空間
3D 視覺感知技術(shù)與產(chǎn)品經(jīng)過多年的發(fā)展,已在鋰電池、半導(dǎo)體、AIoT、3C 消費(fèi)電子、工業(yè)自動化、汽車應(yīng)用等多個(gè)領(lǐng)域?qū)崿F(xiàn)了推廣應(yīng)用,市場空間十分廣闊。
全球3D?視覺市場維持高速增長
隨著下游市場需求的不斷增長和3D 視覺感知技術(shù)的升級,3D視覺感知市場將迎來快速增長期。隨著技術(shù)的進(jìn)步,2D成像技術(shù)已經(jīng)不能滿足當(dāng)前日益復(fù)雜的應(yīng)用需求,尤其是在人工智能、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域。3D視覺感知技術(shù),憑借其能夠提供深度信息的特性,為各種應(yīng)用帶來了更豐富的數(shù)據(jù)維度,從而大大提高了其應(yīng)用價(jià)值。Yole Devolopement 的研究報(bào)告報(bào)告進(jìn)一步證實(shí)了這一市場趨勢。據(jù)其統(tǒng)計(jì),2019年,全球 3D 視覺感知市場規(guī)模已達(dá) 50?億美元。同時(shí)預(yù)計(jì)在 6 年之內(nèi),市場規(guī)模將會翻三倍,到2025 年達(dá)到 150?億美元。年復(fù)合增長率(CAGR)達(dá) 20%,這也意味著 3D 視覺感知技術(shù)的應(yīng)用和普及速度正在加快。
不同技術(shù)路線下的3D?視覺技術(shù)市場空間均在不斷擴(kuò)大
消費(fèi)電子類和智能汽車行業(yè)是3D 視覺市場擴(kuò)容的重要推動力。數(shù)據(jù)顯示,2019 年至 2025 年間,智能手機(jī)領(lǐng)域的市場規(guī)模預(yù)期從20.17 億美元激增至81.65 億美元,年均復(fù)合增長率高達(dá)26%。市場規(guī)模占比從40%增至 54%。而汽車領(lǐng)域的市場規(guī)模則預(yù)計(jì)從8.54 億美元增長至36.73 億美元,年均復(fù)合增長率達(dá)到28%,市場規(guī)模占比從17%增至 25%。這兩大應(yīng)用領(lǐng)域?qū)⒊蔀?3D 成像和傳感技術(shù)的主力軍,推動其在全球范圍內(nèi)的普及和應(yīng)用。
??機(jī)器視覺技術(shù)已成為確保鋰電池質(zhì)量和效率的關(guān)鍵工具
鋰電池制造:在現(xiàn)代的鋰電池生產(chǎn)線上,機(jī)器視覺技術(shù)已經(jīng)成為了確保產(chǎn)品質(zhì)量和效率的關(guān)鍵工具。從動力電池的前期制造到后期的封裝,機(jī)器視覺在每一個(gè)關(guān)鍵工序中都發(fā)揮著重要的作用。在涂布、輥壓等前端工序中,鋰電池可能會產(chǎn)生各種表面缺陷,例如露箔、暗斑和劃痕。而機(jī)器視覺技術(shù)可以實(shí)時(shí)檢測這些缺陷,確保生產(chǎn)出的產(chǎn)品達(dá)到標(biāo)準(zhǔn)。隨著電池制造工藝的復(fù)雜性增加,如電芯后段的裸電芯極耳翻折和密封釘焊接,以及模組和PACK 階段的底部藍(lán)膠和焊縫等,機(jī)器視覺的應(yīng)用已逐漸成為標(biāo)準(zhǔn)配置。
這一技術(shù)在應(yīng)對鋰電池行業(yè)快速發(fā)展中也面臨著挑戰(zhàn)。首先,隨著大規(guī)模制造的到來,如何在保持高精度的同時(shí)提高生產(chǎn)效率,是一個(gè)普遍的問題。其次,新材料和新工藝的應(yīng)用速度遠(yuǎn)超過了機(jī)器視覺技術(shù)的迭代速度。例如,隨著磷酸錳鐵、硅基負(fù)極、高鎳三元等新材料的出現(xiàn),以及CTC、CTB 等新工藝的應(yīng)用,機(jī)器視覺技術(shù)需要更快地適應(yīng)和升級。此外,雖然機(jī)器視覺已經(jīng)在鋰電池生產(chǎn)中發(fā)揮了重要作用,但對于大量的檢測數(shù)據(jù)仍然沒有得到充分利用。
為了解決這些問題,業(yè)內(nèi)已經(jīng)采取了一系列的措施。在技術(shù)層面,推出了輕量化語義模型,確保機(jī)器在面對新工藝時(shí)具有更強(qiáng)的應(yīng)對能力。產(chǎn)能布局上,重點(diǎn)投入到工業(yè)人工智能、先進(jìn)光學(xué)和計(jì)算成像等研發(fā)項(xiàng)目,以擴(kuò)充自身的視覺系統(tǒng)和智能視覺裝備的產(chǎn)能。此外,產(chǎn)品矩陣也進(jìn)行了調(diào)整,重點(diǎn)發(fā)展了原材料隔膜檢測、極片電極段的檢測以及后工序的焊接檢測。
??半導(dǎo)體是機(jī)器視覺技術(shù)最早大規(guī)模應(yīng)用的領(lǐng)域之一
半導(dǎo)體這一高度集成、精細(xì)的產(chǎn)業(yè),無疑已經(jīng)成為機(jī)器視覺技術(shù)最早大規(guī)模應(yīng)用的領(lǐng)域之一。在半導(dǎo)體制造過程中,機(jī)器視覺起到了不可或缺的作用。從硅片的檢測分選,到晶圓的缺陷檢測,再到成品的外觀檢測,機(jī)器視覺技術(shù)都發(fā)揮著核心作用。例如,硅片檢測分選使用了3D 測量系統(tǒng)來對硅片的多種性能參數(shù)進(jìn)行自動檢測,實(shí)現(xiàn)了檢測數(shù)據(jù)的管理與自動分類。又如在晶圓制造過程中,機(jī)器視覺用于檢測晶圓表面的各種缺陷,如雜物、裂紋等,并在封裝工藝中檢測晶片、膠水、焊線等的質(zhì)量。
機(jī)器視覺在半導(dǎo)體行業(yè)應(yīng)用范圍廣泛
半導(dǎo)體行業(yè)仍然面臨著一些技術(shù)與標(biāo)準(zhǔn)化的挑戰(zhàn)。首先,目前關(guān)于半導(dǎo)體芯片檢測設(shè)備的技術(shù),尤其是微納米及納米級的2D、3D 光學(xué)成像技術(shù),主要掌握在國外,這給國內(nèi)產(chǎn)業(yè)帶來了一定的壓力。其次,雖然3D 視覺檢測與生產(chǎn)工藝緊密相關(guān),但其設(shè)備還未有統(tǒng)一的國家標(biāo)準(zhǔn),這在一定程度上制約了產(chǎn)業(yè)的進(jìn)一步發(fā)展。
為了應(yīng)對這些挑戰(zhàn),行業(yè)已經(jīng)開始進(jìn)行技術(shù)突破。例如,開發(fā)了基于AI的缺陷檢測算法平臺,提高了算法的遷移能力和缺陷的檢測能力。同時(shí),也在研發(fā)高速高精度的光學(xué)成像系統(tǒng)和運(yùn)動隔震平臺架構(gòu),以實(shí)現(xiàn)更加精確和穩(wěn)定的檢測效果。
隨著5G 芯片、激光芯片等新技術(shù)的出現(xiàn),對機(jī)器視覺技術(shù)的要求也將更高,但機(jī)器視覺技術(shù)在半導(dǎo)體行業(yè)的應(yīng)用無疑將更加廣泛和深入。
??3D?視覺感知技術(shù)大幅提升工業(yè)自動化效率
隨著3D 視覺感知技術(shù)的不斷成熟其為工業(yè)領(lǐng)域的生產(chǎn)、制造和研發(fā)帶來了革命性的機(jī)遇。
3D?視覺感知在工業(yè)領(lǐng)域有諸多基礎(chǔ)應(yīng)用場景
高精度數(shù)據(jù)采集:傳統(tǒng)的2D 數(shù)據(jù)采集方法在許多領(lǐng)域中已不能滿足高精度要求。3D視覺感知技術(shù)在汽車、航空、數(shù)碼家電和醫(yī)學(xué)等行業(yè),為研究人員和生產(chǎn)線提供了細(xì)致、準(zhǔn)確的三維數(shù)據(jù),這大大提高了制造和檢測的精度。
除基礎(chǔ)應(yīng)用外,3D視覺在工業(yè)中的應(yīng)用場景不斷拓展
先進(jìn)質(zhì)控在線檢測:在工業(yè)生產(chǎn)中,質(zhì)量控制是至關(guān)重要的。3D視覺技術(shù)不僅可以處理低對比度、高反射或透明材料,還能有效地識別和定位產(chǎn)品上的細(xì)微缺陷,從而實(shí)現(xiàn)更為精確的在線質(zhì)量監(jiān)控。
柔性裝配與自動化:高度的生產(chǎn)自動化需要精確的數(shù)據(jù)支持。3D視覺在自動裝配中的應(yīng)用,尤其在需要高精度和靈活性的領(lǐng)域如精密儀器制造已經(jīng)變得不可或缺。機(jī)器人、協(xié)作機(jī)械臂配合3D 視覺系統(tǒng)可以實(shí)現(xiàn)更為精確的組裝和定位。
倉庫與供應(yīng)鏈自動化?:在物流和供應(yīng)鏈管理中,3D 視覺技術(shù)正在為倉庫自動化帶來全新的變革。從精確的貨物定位到智能揀貨,這項(xiàng)技術(shù)提供了必要的數(shù)據(jù)支持,使得倉庫操作更為高效、準(zhǔn)確。
機(jī)器人的導(dǎo)航與感知:在工業(yè)環(huán)境中,機(jī)器人穩(wěn)定、安全的視覺引導(dǎo)是至關(guān)重要的。它通常分為兩種主要策略:一種是結(jié)合移動機(jī)器人與機(jī)器視覺,另一種是結(jié)合機(jī)械臂與機(jī)器視覺。這兩種策略為機(jī)器人提供了在其操作環(huán)境中精確定位和導(dǎo)航的能力。
在眾多的環(huán)境感知技術(shù)中,激光雷達(dá)和毫米波雷達(dá)各自擁有其獨(dú)特的優(yōu)點(diǎn)和局限性。例如,激光雷達(dá)以其高精度和廣泛的探測范圍為人所知,能夠有效地為機(jī)器人構(gòu)建其周圍環(huán)境的3D 信息模型。然而,它在惡劣天氣條件下可能會受到干擾。相對之下,毫米波雷達(dá)在煙霧、灰塵等低能見度環(huán)境中表現(xiàn)出色,其強(qiáng)大的穿透性使其能在這些特殊環(huán)境下提供可靠的測距信息。但是,其測距的精度相對較低。
3D?視覺被廣泛應(yīng)用于工廠移動機(jī)器人引導(dǎo)中
??AI?加速?3D?視覺技術(shù)發(fā)展
隨著深度學(xué)習(xí)和人工智能的崛起,尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN)和變形器網(wǎng)絡(luò)(Transformer)的進(jìn)步,3D 視覺技術(shù)的研究和優(yōu)化已在精確度和效率上獲得顯著提升。
深度學(xué)習(xí)技術(shù)可與3D?視覺技術(shù)緊密結(jié)合
在3D 視覺的深度學(xué)習(xí)應(yīng)用中,典型的工作流程可分為模型訓(xùn)練和圖像識別兩大階段。
模型訓(xùn)練:此階段的關(guān)鍵任務(wù)是從大量標(biāo)注的3D 數(shù)據(jù)樣本中提取和學(xué)習(xí)有代表性的特征。這通常涉及大量的計(jì)算,包括前向傳播、誤差反向傳播以及參數(shù)優(yōu)化等過程。在深度學(xué)習(xí)模型中,網(wǎng)絡(luò)的深度、層數(shù)和結(jié)構(gòu)復(fù)雜度都可能影響到模型的最終性能。
圖像識別:在模型訓(xùn)練完畢后,我們可以使用它來識別新的、未標(biāo)記的3D 圖像數(shù)據(jù)。此階段主要包括數(shù)據(jù)預(yù)處理、特征提取和最終的分類或回歸等任務(wù)。
深度學(xué)習(xí)技術(shù)為3D?視覺帶來了革命性變化
深度學(xué)習(xí),尤其是卷積神經(jīng)網(wǎng)絡(luò)和變形器網(wǎng)絡(luò),已經(jīng)為3D 視覺帶來了多方面的革命性變化。
高精度和魯棒性:通過多層網(wǎng)絡(luò)結(jié)構(gòu),深度學(xué)習(xí)模型能夠自動地從原始數(shù)據(jù)中提取和學(xué)習(xí)復(fù)雜的特征,這極大地提高了3D 物體識別和分類的精度。
廣泛的應(yīng)用領(lǐng)域:由于其出色的泛化能力,深度學(xué)習(xí)模型已被成功應(yīng)用于多個(gè)3D 視覺領(lǐng)域,包括物體檢測、場景理解、人體姿態(tài)估計(jì)、深度估計(jì)等。
??群雄逐鹿,掘金3D工業(yè)視覺:老牌廠商和初創(chuàng)企業(yè)者各有所長
3D 工業(yè)視覺領(lǐng)域的主流參與者大致可以劃分為兩大類別:傳統(tǒng)2D 視覺的內(nèi)外資領(lǐng)先廠商,以及國內(nèi)新興廠商。這些公司之間的業(yè)務(wù)范圍和專長有所不同。
來自傳統(tǒng)2D 視覺領(lǐng)域的頭部廠商,無論是國內(nèi)還是國外品牌,都在工業(yè)高精度和高效率的測量與識別領(lǐng)域展現(xiàn)出了明顯的優(yōu)勢。這些公司通常在工業(yè)應(yīng)用中結(jié)合1D、2D 和 3D 技術(shù),實(shí)現(xiàn)更精準(zhǔn)的識別和測量。
例如,基恩士和康耐視憑借其領(lǐng)先的鏡頭和CMOS 傳感器技術(shù),能夠在短短0.6 秒內(nèi)完成檢測。與此同時(shí),他們在3D 技術(shù)的算法上也取得了顯著的進(jìn)步,如基恩士搭載的AI 芯片和康耐視的VisionPro Deep Learning 軟件。
?
基恩士推出3D輪廓測量儀
在工業(yè)高端應(yīng)用,如汽車、3C、鋰電池、半導(dǎo)體等領(lǐng)域,這些頭部企業(yè),如基恩士、??低?/u>和奧普特等,憑借在 2D 視覺領(lǐng)域的深厚技術(shù)和客戶基礎(chǔ),成功地轉(zhuǎn)型和升級,贏得了大量的高價(jià)值訂單。相比之下,許多國內(nèi)的3D 視覺初創(chuàng)公司更多地聚焦于中低端的應(yīng)用領(lǐng)域,例如物流、金屬加工、3C電子等。
2021?年,我國機(jī)器視覺市場中??禉C(jī)器人、基恩士、康耐視等廠商處于領(lǐng)先地位
部分機(jī)器視覺廠商以進(jìn)行全產(chǎn)業(yè)鏈布局
在機(jī)器視覺軟件方面,定位算法模塊數(shù)量、算法性能、軟件靈活性和易用性等因素都是決定性的考量點(diǎn)。在這一方面海內(nèi)外主流玩家側(cè)重點(diǎn)不同。
虹軟科技的手機(jī)拍攝算法與VisDrive:手機(jī)方面,虹軟科技作為全球安卓系手機(jī)拍攝算法的霸主,三星、華為、OPPO、VIVO、小米等手機(jī)廠商均是公司客戶,公司技術(shù)儲備豐富,已實(shí)現(xiàn)對于單攝、雙攝、深攝的全面覆蓋,并不斷推出新的SDK 帶動手機(jī)拍攝算法單機(jī)價(jià)值量提升。汽車方面,虹軟科技推出了一系列艙內(nèi)、艙外視覺解決方案。截至2023H1,分別搭載了公司DMS、OMS、Face ID、TOF 手勢、艙外體態(tài)識別拍照、AVM 等艙內(nèi)外算法的量產(chǎn)出貨車型已有數(shù)十款,主要知名車型如理想L9,長城哈佛系列、歐拉系列、坦克系列,合眾哪吒系列,長安CS75、PLUS、UNI-T,長安新能源深藍(lán)SLO3,吉利豪越 L、銀河 L7、領(lǐng)克?06,奇瑞星途攬?jiān)?,東風(fēng)嵐圖Free、夢想家、追光等。
康耐視的VisionPro:這款軟件搭載了超過 100?種工具,其中 2D 定位精度在最好情況下可以達(dá)到1/40?像素,而通常情況下為1/4 像素。其處理效率非常出色,5M像素的圖像處理時(shí)間在50ms 以內(nèi)。但是在3D 視覺定位的精度上,VisionPro達(dá)到了 2.5μm,盡管其具體的處理效率尚未公開。除了硬件性能,VisionPro也為開發(fā)者提供了不錯的軟件體驗(yàn),雖然其不支持底層框架的開放,但確實(shí)支持二次開發(fā),使得軟件靈活性和易用性都保持在行業(yè)的中等水平。
奧普特的SciVision:與VisionPro 類似,SciVision也提供了超過 100?種工具。不過,它在 2D 定位的精度上并未披露具體數(shù)據(jù),但其28M 像素的圖像處理速度為68.19ms。從軟件的靈活性和易用性角度看,SciVision主要針對直接應(yīng)用,其工具的拖拽式操作和專用性設(shè)計(jì)使得整體易用性處于中等水平。
凌云光的VisionWare?展現(xiàn)了另一種競爭策略:其提供的工具超過100?種,2D 定位精度為 1/2 像素,5M 像素的圖像處理速度為 20ms。更令人印象深刻的是,其 3D 定位精度達(dá)到了 2μm,處理速度為500ms。在識別算法上,其 99%的識別率和 5M 像素圖像的 80ms 處理速度都表現(xiàn)出色。但從軟件使用的角度來看,VisionWare主要以直接應(yīng)用為主,其工具的拖拽式操作和專用性設(shè)計(jì)與SciVision相似。
??禉C(jī)器人的VisionMaster:這款軟件憑借其 1500+算子和 170+工具在數(shù)量上遠(yuǎn)超其他三家。在2D 定位上,其最好的精度可以達(dá)到1/16 像素,而通常情況下為1/4 像素,5M像素的圖像處理時(shí)間僅為10ms。此外,其3D視覺定位的精度為6μm,處理速度為300ms。在軟件的靈活性和易用性上,VisionMaster同樣展現(xiàn)出了優(yōu)勢。它支持算子調(diào)用、SDK二次開發(fā),以及底層框架的開放。整體的軟件設(shè)計(jì)既圖形化又流程化,為開發(fā)者提供了友好的交互體驗(yàn)。
編輯:黃飛
?
評論
查看更多