三維計算視覺研究內(nèi)容包括：

1）三維匹配：兩幀或者多幀點云數(shù)據(jù)之間的匹配，因為激光掃描光束受物體遮擋的原因，不可能通過一次掃描完成對整個物體的三維點云的獲取。因此需要從不同的位置和角度對物體進行掃描。三維匹配的目的就是把相鄰掃描的點云數(shù)據(jù)拼接在一起。三維匹配重點關(guān)注匹配算法，常用的算法有最近點迭代算法 ICP和各種全局匹配算法。

2）多視圖三維重建：計算機視覺中多視圖一般利用圖像信息，考慮多視幾何的一些約束，射影幾何和多視圖幾何是視覺方法的基礎(chǔ)，在攝影測量中類似的存在共線方程。光束平差法是該類研究的核心技術(shù)。這里也將點云的多視匹配放在這里，比如人體的三維重建，點云的多視重建不再是簡單的逐幀的匹配，還需要考慮不同角度觀測產(chǎn)生誤差累積，因此存在一個針對三維模型進行優(yōu)化或者平差的過程在里面。多視圖三維重建這里指的只是靜態(tài)建模，輸入是一系列的圖像或者點云集合?？梢灾皇褂脠D像，或者只使用點云，也可以兩者結(jié)合（深度圖像）實現(xiàn)，重建的結(jié)果通常是Mesh網(wǎng)格。

SFM（運動恢復(fù)結(jié)構(gòu)） vs Visual SLAM[摘抄] SFM 和 Visual SLAM

Multi-View Stereo （MVS）多視圖立體視覺，研究圖像一致性，實現(xiàn)稠密重建。

3）3D SLAM

按照傳感器類型分類：可以分為基于激光的SLAM和基于視覺的SLAM。

基于激光的SLAM可以通過點云匹配（最近點迭代算法 ICP、正態(tài)分布變換方法 NDT）+位姿圖優(yōu)化（g2o、LUM、ELCH、Toro、SPA）來實現(xiàn)；實時激光3D SLAM算法 （LOAM，Blam，CartoGrapher等）；Kalman濾波方法。通常激光3D SLAM側(cè)重于定位，在高精度定位的基礎(chǔ)上可以產(chǎn)生3D點云，或者Octree Map。

基于視覺（單目、雙目、魚眼相機、深度相機）的SLAM，根據(jù)側(cè)重點的不同，有的側(cè)重于定位，有的側(cè)重于表面三維重建。不過都強調(diào)系統(tǒng)的實時性。

（1）側(cè)重于定位的VSLAM系統(tǒng)比如orbSLAM，lsdSLAM；VINS是IMU與視覺融合的不錯的開源項目。

（2）側(cè)重于表面三維重建SLAM強調(diào)構(gòu)建的表面最優(yōu)，或者說表面模型最優(yōu)，通常包含F(xiàn)usion融合過程在里面。通常SLAM是通過觀測形成閉環(huán)進行整體平差實現(xiàn)，優(yōu)先保證位姿的精確；而VSLAM通過Fusion過程同時實現(xiàn)了對構(gòu)建的表面模型的整體優(yōu)化，保證表面模型最優(yōu)。最典型的例子是KinectFusion，Kinfu，BundleFusion，RatMap等等。

（4）目標(biāo)檢測與識別：無人駕駛汽車中基于激光數(shù)據(jù)檢測場景中的行人、汽車、自行車、道路（車道線，道路標(biāo)線，路邊線）以及道路設(shè)施（路燈）和道路附屬設(shè)施（行道樹等）。這部分工作也是高精度電子地圖的主要內(nèi)容。當(dāng)然高精度電子地圖需要考慮的內(nèi)容更多。同時室內(nèi)場景的目標(biāo)識別的研究內(nèi)容也很豐富，比如管線設(shè)施，消防設(shè)施等。

（5）形狀檢測與分類：點云技術(shù)在逆向工程中有很普遍的應(yīng)用。構(gòu)建大量的幾何模型之后，如何有效的管理，檢索是一個很困難的問題。需要對點云（Mesh）模型進行特征描述，分類。根據(jù)模型的特征信息進行模型的檢索。同時包括如何從場景中檢索某類特定的物體，這類方法關(guān)注的重點是模型。

（6）語義分類：獲取場景點云之后，如何有效的利用點云信息，如何理解點云場景的內(nèi)容，進行點云的分類很有必要，需要為每個點云進行Labeling?？梢苑譃榛邳c的分類方法和基于分割的分類方法。從方法上可以分為基于監(jiān)督分類的技術(shù)或者非監(jiān)督分類技術(shù)，深度學(xué)習(xí)也是一個很有希望應(yīng)用的技術(shù)。最近深度學(xué)習(xí)進行點云場景理解的工作多起來了，比如PointNet，各種八叉樹的Net。

（7）雙目立體視覺與立體匹配ZNCC：立體視覺（也稱雙目視覺）主要研究的兩個相機的成像幾何問題，研究內(nèi)容主要包括：立體標(biāo)定（Stereo Calibration）、立體校正（Stereo Rectification）和立體匹配（Stereo Matching）。目前，立體標(biāo)定主要研究的已經(jīng)比較完善，而立體匹配是立體視覺最核心的研究問題。按照匹配點數(shù)目分類，立體匹配可分為稀疏立體匹配（sparse stereo matching）和密集立體匹配（dense stereo matching）。稀疏立體匹配由于匹配點數(shù)量稀少，一般很難達(dá)到高精度移動測量和環(huán)境感知的要求。因此，密集立體匹配是學(xué)術(shù)界和工業(yè)界的主要研究和應(yīng)用方向。

（8）自動造型（構(gòu)型），快速造型（構(gòu)型）技術(shù)。對模型進行凸分割，模型剖分，以實現(xiàn)模型進一步的編輯修改，派生出其他的模型。

（9）攝像測量技術(shù)，視頻測量

1、點云濾波方法（數(shù)據(jù)預(yù)處理）：

雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機采樣一致性濾波。

VoxelGrid

2、關(guān)鍵點

ISS3D、Harris3D、NARF，

SIFT3D、均勻采樣，曲率方法采樣

3、特征和特征描述

法線和曲率計算NormalEstimation、特征值分析Eigen-Analysis、EGI

PFH、FPFH、3D Shape Context、Spin Image

4、點云匹配

ICP、穩(wěn)健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP

NDT 3D、Multil-Layer NDT

FPCS、KFPCS、SAC-IA

Line Segment Matching、ICL

5、點云分割與語義分類

分割：區(qū)域生長、八叉樹區(qū)域生長、Ransac線面提取、NDT-RANSAC、全局優(yōu)化平面提取

K-Means、Normalize Cut（Context based）

3D Hough Transform(線、面提取)、連通分析、

分類：基于點的分類，基于分割的分類；監(jiān)督分類與非監(jiān)督分類

目前基于深度學(xué)習(xí)的點云語義分類比較熱：PointNet，OctNet之類的吧，需要多加關(guān)注。

6、SLAM圖優(yōu)化

Ceres（Google的最小二乘優(yōu)化庫，很強大），g2o、LUM、ELCH、Toro、SPA

SLAM方法：ICP、MBICP、IDC、likehood Field、CrossCorrelation、NDT

7、目標(biāo)識別、檢索

Hausdorff距離計算（人臉識別），Graph Matching

8、變化檢測

基于八叉樹的變化檢測

9. 三維重建

泊松重建、Delaunay triangulations

表面重建，人體重建，建筑物重建，樹木重建。

結(jié)構(gòu)化重建：不是簡單的構(gòu)建一個Mesh網(wǎng)格，而是為場景進行分割，為場景結(jié)構(gòu)賦予語義信息。場景結(jié)構(gòu)有層次之分，在幾何層次就是點線面等幾何圖元。

實時重建：重建植被或者農(nóng)作物的4D（3D+時間）生長態(tài)勢；人體姿勢識別；表情識別；

10.點云數(shù)據(jù)管理

點云壓縮，點云索引（KD、Octree），點云LOD（金字塔），海量點云的渲染

責(zé)任編輯：xj

原文標(biāo)題：三維點云數(shù)據(jù)處理學(xué)習(xí)內(nèi)容總結(jié)

文章出處：【微信公眾號：新機器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。