機(jī)器視覺三維成像技術(shù)簡介（一）

三維成像技術(shù)概述

三維成像，是在傳統(tǒng)二維成像基礎(chǔ)上增加了深度信息，進(jìn)而可以勝任更高精度的定位、識別和檢測任務(wù)，現(xiàn)如今已廣泛應(yīng)用在消費(fèi)電子、醫(yī)藥及工業(yè)領(lǐng)域。

根據(jù)數(shù)據(jù)獲取方式可以分為接觸式和非接觸式兩種。接觸式根據(jù)有無損傷被測對象可以分為無損和有損兩種類型。非接觸式根據(jù)信號的使用方式可以分為傳輸式和反射式。反射式又可以進(jìn)一步分為光學(xué)和非光學(xué)兩類。光學(xué)式根據(jù)是否需要外加人造光源可以分為主動(dòng)式和被動(dòng)式兩大類型。被動(dòng)視覺成像只依賴相機(jī)接收到的由目標(biāo)場景產(chǎn)生的光輻射信息，該輻射信息通過二維圖像像素灰度值進(jìn)行度量。

被動(dòng)視覺常用于特定條件下的三維成像場合，如室內(nèi)、目標(biāo)場景輻射動(dòng)態(tài)范圍不大和無遮擋，場景表面非光滑，且紋理或幾何特征清晰，容易通過立體匹配尋找匹配點(diǎn)。主動(dòng)立體視覺是利用光調(diào)制（如編碼結(jié)構(gòu)光、激光調(diào)制等）照射目標(biāo)場景，對目標(biāo)場景表面的點(diǎn)進(jìn)行編碼標(biāo)記，然后對獲取的場景圖像進(jìn)行解碼，以便可靠地求得圖像之間的匹配點(diǎn)，再通過三角法求解場景的三維信息。主動(dòng)立體視覺的優(yōu)點(diǎn)是抗干擾性強(qiáng)、對環(huán)境要求不高（如通過帶通濾波消除環(huán)境光干擾），三維測量精度、重復(fù)性和可靠性高，缺點(diǎn)是對于結(jié)構(gòu)復(fù)雜的場景容易產(chǎn)生遮擋問題。根據(jù)成像原理又可以進(jìn)一步細(xì)分，具體如下圖所示：

接觸式由于需要用探頭或探針隨被測物表面移動(dòng)，大小受到限制，也容易劃傷被測物，精度也比較差。像三坐標(biāo)測量機(jī)（Coordinate Measuring Machine，CMM）就是通過探針與物體表面上的離散點(diǎn)測量出被測對象的三維信息。目前三維成像多以利用光學(xué)原理的非接觸式為主，更安全，更高效，更精準(zhǔn)。一個(gè)直觀的例子是以往道路施工人員在對坑洼道路維修時(shí)使用類似直尺的金屬棒來測量深度，一直沒有一種經(jīng)濟(jì)高效的解決方案，但隨著三維光學(xué)成像技術(shù)的應(yīng)用已經(jīng)改變了這個(gè)流程。

本文主要討論機(jī)器視覺領(lǐng)域主流的三維成像技術(shù)，包括飛行時(shí)間、結(jié)構(gòu)光、激光三角、雙目立體視覺及以光場成像技術(shù)，最后會(huì)補(bǔ)充介紹毫米波雷達(dá)和激光雷達(dá)及各三維成像方案應(yīng)用場景和精度水平對比。

飛行時(shí)間法

飛行時(shí)間（Time of Flight，ToF），利用發(fā)光二極管（Light Emitting Diode，LED）或鐳射二極管（Laser Diode，LD）發(fā)射出紅外光信號，根據(jù)信號發(fā)射與返回的時(shí)間差來測量傳感器與被測物之間的距離。ToF攝像頭通過使用調(diào)制光源（如激光）主動(dòng)照亮被測物，然后用對激光波長敏感的傳感器捕捉反射光，以此測量距離。傳感器測量從攝像頭發(fā)射光，到攝像頭接收到發(fā)射光之間的時(shí)間延遲?t。時(shí)間延遲與攝像頭和物體之間的兩倍距離（往返）成正比；因此，距離可以估算為深度 = cΔt/2，其中c表示光速。這個(gè)過程與超聲波類似，后者通過聲音，而非光線來測量距離，雷達(dá)則通過無線電波來測量距離。與超聲相比，飛行時(shí)間（ToF）攝像機(jī)能夠更快生成具有高（深度）精度的高分辨率深度圖（空間分辨率與RGB攝像機(jī)相當(dāng)），且能覆蓋更大范圍——畢竟，光速遠(yuǎn)遠(yuǎn)大于聲速。雖然雷達(dá)的探測距離更遠(yuǎn)，但飛行時(shí)間（ToF）的準(zhǔn)確性與分辨率均更勝yi籌。

目前存在多種不同的測量?T的方法，其中兩種最為常用：連續(xù)波(CW)方法和脈沖方法。連續(xù)波(CW)方法，有時(shí)也被稱為間接飛行時(shí)間（iToF），該方法測量發(fā)送和接收的光脈沖之間的相移。脈沖方法，有時(shí)也被稱為直接飛行時(shí)間（dToF），該方法測量發(fā)射的脈沖和接收的光脈沖之間的經(jīng)過時(shí)間。這種方法跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐點(diǎn)掃描，ToF相機(jī)則是同時(shí)得到整幅圖像的深度信息。值得注意的是，目前已經(jīng)實(shí)施且在市面上使用的絕大多數(shù)連續(xù)波ToF系統(tǒng)都使用CMOS傳感器，脈沖ToF系統(tǒng)則使用非CMOS傳感器（特別是CCD）。使用CW iToF圖像傳感器的優(yōu)勢之一：它們基于傳統(tǒng)的半導(dǎo)體基礎(chǔ)設(shè)施進(jìn)行大規(guī)模量產(chǎn)，能夠以經(jīng)濟(jì)的成本實(shí)現(xiàn)高像素密度的短程成像。選擇iToF，還是dToF深度成像系統(tǒng)，最終要看應(yīng)用需求和使用環(huán)境。iToF適用于需要高空間分辨率的短程成像（0.5米、5米和10米）。dToF更適合對空間分辨率要求不高的遠(yuǎn)距離成像。人工智能(AI)和光學(xué)系統(tǒng)設(shè)計(jì)使得選擇iToF技術(shù)和dToF技術(shù)的分界線不再那么清晰明確。在能感知環(huán)境的智能邊緣系統(tǒng)中，iToF和dToF傳感器都與RGB圖像和慣性傳感器集成，并在AI的助力之下提升性能，消除偽影。

就像鼠標(biāo)改變了計(jì)算機(jī)交互，觸摸屏技術(shù)推動(dòng)了智能手機(jī)和平板電腦的普及一樣，飛行時(shí)間（ToF）技術(shù)正在助力實(shí)現(xiàn)非接觸式3D交互。在推動(dòng)工業(yè)4.0發(fā)展方面，飛行時(shí)間（ToF）技術(shù)具有類似效用。從用于質(zhì)量檢測的工業(yè)機(jī)器視覺，到用于資產(chǎn)管理的體積檢測，再到推動(dòng)自主（設(shè)備）生產(chǎn)的導(dǎo)航技術(shù)，制造行業(yè)開始采用這些傳感技術(shù)，并逐步轉(zhuǎn)向適合惡劣工業(yè)環(huán)境的高分辨率系統(tǒng)。目前，我們周圍采用飛行時(shí)間（ToF）技術(shù)的應(yīng)用層出不窮，從汽車座艙安全，到家庭運(yùn)動(dòng)設(shè)備，再到游戲和畫面逼真的3D遠(yuǎn)程協(xié)作。甚至對于倉庫、桶、大型儲(chǔ)物罐的儲(chǔ)量檢測也有廣泛的應(yīng)用。飛行時(shí)間（ToF）技術(shù)的未來應(yīng)用之一是自動(dòng)駕駛汽車中，作為雷達(dá)、LIDAR和其他深度傳感器的補(bǔ)充。

目前的消費(fèi)級ToF深度相機(jī)主要有：微軟的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的ToF深度相機(jī)等。這些產(chǎn)品已經(jīng)在體感識別、手勢識別、環(huán)境建模等方面取得了較多的應(yīng)用，最典型的就是微軟的Kinect 2。

ToF成像可用于大視野、遠(yuǎn)距離、低精度、低成本的3D圖像采集，其特點(diǎn)是：檢測速度快、視野范圍較大、工作距離遠(yuǎn)、價(jià)格便宜，但精度低，易受環(huán)境光的干擾。對于光滑物體（反射光朝向不同方向）或者有夾角的物體（發(fā)生多次反射），飛行時(shí)間成像精度均會(huì)受到影響。

與普通相機(jī)類似，ToF相機(jī)芯片前端需要一個(gè)搜集光線的鏡頭。不過與普通光學(xué)鏡頭不同的是這里需要加一個(gè)帶通濾光片來保證只有與照射光源波長相同的光才能進(jìn)入。

ToF的優(yōu)勢：飛行時(shí)間由于采用主動(dòng)光源照射被測物，在沒有環(huán)境光照的ji端情況下仍然可以正常工作。與立體相機(jī)或三角測量系統(tǒng)比，ToF相機(jī)體積小巧，重量輕，跟一般相機(jī)大小相去無幾，非常適合于一些需要輕便、小體積相機(jī)的場合。飛行時(shí)間算法原理相對簡單，所以ToF相機(jī)能夠?qū)崟r(shí)快速的計(jì)算深度信息，達(dá)到幾十到100fps。而雙目立體相機(jī)需要用到復(fù)雜的相關(guān)性算法，處理速度較慢。ToF的深度計(jì)算不受物體表面灰度和特征影響，可以非常準(zhǔn)確的進(jìn)行三維探測。而雙目立體相機(jī)則需要目標(biāo)具有良好的特征變化，否則會(huì)無法進(jìn)行深度計(jì)算。由于光的速度非常快，ToF相機(jī)需要復(fù)雜的設(shè)計(jì)才能實(shí)現(xiàn)往返信號時(shí)間差的檢測，制造相對困難，ToF相機(jī)的深度計(jì)算精度不隨距離改變而變化，在整個(gè)測量范圍內(nèi)基本能穩(wěn)定在cm級，這對于一些大范圍運(yùn)動(dòng)的應(yīng)用場合非常有意義。相對于結(jié)構(gòu)光相機(jī)，在10米范圍內(nèi)，ToF相機(jī)精度更低，10米外則精度更高。ToF相機(jī)的一個(gè)顯著優(yōu)勢是工作距離比較寬，可以覆蓋0.5米到10米的范圍，精度要求不高的場景有的甚至達(dá)到幾百米，該場景下一般照射單元采用紅外LED而非激光，不傷害眼睛。而結(jié)構(gòu)光相機(jī)成像范圍只有2到3米，但是精度會(huì)更高。因此雖然ToF相機(jī)可以工作在較短距離范圍，當(dāng)需要一定精度要求時(shí)，并不是好的選擇。

TOF深度相機(jī)對時(shí)間測量的精度要求較高，發(fā)射脈沖必須在非常短的時(shí)間(皮秒級），即使采用最高精度的電子元器件，也很難達(dá)到毫米級的精度。因此，在近距離測量領(lǐng)域，尤其是1m范圍內(nèi)，TOF深度相機(jī)的精度與其他深度相機(jī)相比還具有較大的差距，這限制它在近距離高精度領(lǐng)域的應(yīng)用。ToF相機(jī)在遠(yuǎn)距離測距上由一定優(yōu)勢，但是價(jià)格相對昂貴，并且沒有顏色信息。

ToF相機(jī)精度很大程度上與距離相關(guān)，一般認(rèn)為可以通過1%的成像距離進(jìn)行估算，因此如果被測物是5米遠(yuǎn)，ToF相機(jī)可以達(dá)到5cm的精度。而雙目立體相機(jī)精度大概是5-10%的成像距離，結(jié)構(gòu)光相機(jī)是精度最高的，可以達(dá)到1mm。

延伸：光學(xué)雷達(dá)屬于飛行時(shí)間類型嗎

光學(xué)雷達(dá)（Light Detection and Ranging，LiDAR），又名飛行時(shí)間激光掃描儀（ToF Laser Scanner），有時(shí)也稱激光雷達(dá)（Laser Radars），通過向周圍環(huán)境多角度發(fā)射激光脈沖根據(jù)飛行時(shí)間來測量被測物距離。此外，光學(xué)雷達(dá)為了在深度圖上反映被測物更多的細(xì)節(jié)還會(huì)測量反射光強(qiáng)度。另外，3D ToF也可以看作是一種無掃描儀LiDAR技術(shù)。

SICK Visionary-T Mini 3D相機(jī)

SICK Visionary-T Mini 3D相機(jī)憑借 3D 飛行時(shí)間 (TOF) 技術(shù)，實(shí)現(xiàn)緊湊型外殼和出色的數(shù)據(jù)質(zhì)量機(jī)器人技術(shù)、運(yùn)輸車和物流的自動(dòng)化應(yīng)用離不開準(zhǔn)確可靠的 2D 和 3D 測距數(shù)據(jù)。此外，即使安裝空間狹小，視覺系統(tǒng)也應(yīng)該可以輕松集成到相應(yīng)的機(jī)器設(shè)計(jì)中。SICK Visionary-T Mini 3D相機(jī) 產(chǎn)品系列將高性能與緊湊型結(jié)構(gòu)設(shè)計(jì)和較高的成本效益相結(jié)合。另外，3D 視覺傳感器可為數(shù)據(jù)分析提供具有高像素密度的詳細(xì)二維和三維散點(diǎn)圖。自動(dòng)運(yùn)行模式可簡化其機(jī)器集成，并確保操作更加簡便。

關(guān)于昊艾智能

昊艾智能是德國 SICK 在中國 3D 視覺領(lǐng)域的專業(yè)代理商。

昊艾智能專注于提供3D機(jī)器視覺整體解決方案，助力中國智能制造水平的提升與產(chǎn)業(yè)升級！

目前，我們擁有一批高素質(zhì)的3D機(jī)器視覺應(yīng)用工程師與算法研發(fā)工程師，具有完備的機(jī)器視覺項(xiàng)目評估能力與底層核心算法開發(fā)能力。我們的3D機(jī)器視覺整體解決方案在動(dòng)力電池、汽車行業(yè)、消費(fèi)電子、白色家電、軌交檢測等多個(gè)領(lǐng)域成功落地實(shí)施，積累了豐富的3D機(jī)器視覺項(xiàng)目應(yīng)用與軟件開發(fā)經(jīng)驗(yàn)！

昊艾智能主營產(chǎn)品：3D機(jī)器視覺整體解決方案，包括結(jié)構(gòu)光3D相機(jī)、激光線掃相機(jī)、SICK 3D線激光輪廓傳感器、TOF相機(jī)，高精度3D測量系統(tǒng)、視覺引導(dǎo)定位系統(tǒng)、無序抓取系統(tǒng)等，可實(shí)現(xiàn)平面度、高度差、位置度測量、凹凸缺陷檢測、膠路檢測、視覺引導(dǎo)機(jī)器人打磨、視覺引導(dǎo)機(jī)器人工件定位裝配、工件無序抓取等功能。