《電子技術應用》
您所在的位置:首頁 > 人工智能 > 其他 > 入門:淺談3D成像技術及應用場景

入門:淺談3D成像技術及應用場景

2023-02-26
來源:LiveVideoStack
關鍵詞: dToF LIDAR 3D成像

  編者按:隨著時代的發展,內容傳播的形式在不斷演進,而從2維升級到3維,是科技發展之必然。在未來幾年,3D影像技術將加速全面向市場滲透。LiveVideoStack邀請到了螳螂慧視的駱曉峰老師,為我們介紹3D成像技術。

  今天,我分享的內容主要分為三個章節。首先,介紹一些相關的背景。然后,介紹3D成像技術。最后,介紹幾種3D的應用場景。

  01  2d到3d

  首先,介紹從2D到3D的背景。

213.JPG

  兩百年前,人類拍下了第一張照片。經過兩百年的發展,2D影像技術滲透到各行各業,為了追求更好的展示,開始了3D影像技術的研究。從2維升級到3維,也是科技發展之必然。

212.JPG

  我們的感受也在不斷變化。最初,我們從平面媒體(比如報紙)獲取信息,這涉及到視覺。然后,我們可以從廣播獲取信息,這涉及到聽覺。接著,我們可以看電視來獲取信息,這涉及到視覺和聽覺。再然后,我們使用電腦和智能手機來獲取信息,這涉及到視覺和聽覺,并且我們還獲得了交互體驗。現在我們可以使用VR、AR和XR,而3D光學是AR、VR和XR的核心。從硬件方面來看,硬件已經發展到了一定的階段,可以在現有的硬件上呈現一些3D的效果。

  無論是元宇宙還是虛擬現實,都需要大量3D數據。之前認為3D數據可以通過建模得到,比如需要一個桌子,可以通過計算機建模得到。那么有沒有更好的方法來獲取3D數據呢?

  02  3D成像技術

  3D成像技術就是利用3D相機使一個3D物體進行快速成像。我們的主要目標是使現實世界數字化。

211.JPG

  3D成像技術的原理是三角成像原理。三角成像原理參考了眼睛成像原理,單個眼睛或單一鏡頭無法獲取深度數據,所以需要兩個眼睛。右圖展示了與結構光相關的原理,攝像頭拍攝激光上的激光數據來成像。

210.JPG

  目前主流的3D成像技術主要是以下幾種。首先是雙目,這是大家常用的技術,現在的閘機就采用了這種技術。雙目模擬了人的眼睛,觀察同一物體時,兩只眼睛看到的物體是不一樣的,通過該差異性可以計算得到3D數據。然后是結構光,主要有兩種方案。一種是散斑結構光,目前很多公司都在使用這項技術。散斑結構光在2005年由以色列的PrimeSense公司創建,iPhone使用了這項技術,并使這項技術進入大眾視野。目前,蘋果公司掌握了散斑結構光的大部分專利。PrimeSense曾與微軟一起開發Kinect,在國內也會經常接觸到Kinect,因此國內很多3D方面的研究基于Kinect 3D相機,國內大部分使用的也是散斑結構光技術。另一種是編碼結構光,散斑結構光投射出來的是點,而編碼結構光投射出來的是圖案。編碼結構光在2005年由以色列的MantisVision公司創建。目前,小米8透明探索版的前置攝像頭采用了編碼結構光技術。最后是TOF,即飛行時間,其計算發射光和光從物體反射回來的時間差,激光雷達就使用了TOF技術。TOF主要有兩種方案,一種是dTOF,其原理是通過光源發射脈沖,接收端接收從物體發射回來的脈沖,并計算兩個脈沖的時間差。另一種是iTOF,光經過連續波調制后發射出去,通過比較發射時的圖和接收時的圖得到載波相位差,并基于此得到深度信息。

209.JPG

  接下來詳細介紹散斑結構光。這是一張鏡頭的示意圖,其原理如下。首先是一個發光器件,由其發射光。然后經過準直鏡,發射出來的光較為發散,亮度不夠,而準直鏡可將發散光路變成平行光路。最后,通過DOE投射出點陣。眾所周知,在遠的地方看點會發現點比較小,在近的地方看點會發現點比較大(結果大致如圖所示),這就是散斑結構光的原理。

208.JPG

  然后,詳細介紹編碼結構光。與散斑結構光不同的是,編碼結構光投射出來的是圖案。這個現象可以參考我們小時候的手指游戲,即用手指做出不同形狀,然后手電筒照射手指,可以投影出不同動物的樣子。同理,在鏡頭上放置一個mask圖案,發射光時就可以將圖案投影到物體上。由于物體是凹凸不平的,投影到物體上的圖案會變形,可以基于此計算得到3D數據信息。在散斑結構光和編碼結構光中,光發射出去和光反射回來即為一幀。

  目前,大多使用IR攝像頭,這是因為為了與可見光有區別,我們使用了紅外光。激光器發射光,IR攝像頭則拍下相應圖像然后進行計算。由于有時需要獲取顏色的信息,所以會增加一個RGB攝像頭。以上內容就組成了整個模組,iPhone和小米8就有此類前置攝像頭模組。除了這些基本構成,還添加了接近感應器等。iPhone配備了接近感應器,一方面是為了在接聽電話時使手機自動滅屏,另一方面是為了保證安全性,因為紅外光對人眼有損害,所以在人眼離手機的距離在一定范圍內時,會關閉發射器。

  在散斑結構光中,DOE會發射散斑光。當鏡頭損壞或DOE破損時,準直后的激光光束可能會直接照射到人眼,從而對人眼造成傷害,所以采用散斑結構光技術時必須做人眼安全方面的工作。在編碼結構光中,在投影鏡頭上放置了mask,光束受到了遮擋,不會直接照射到人眼,所以在編碼結構光中,一般不會引進人眼安全相關的技術。

207.JPG

  接下來,詳細介紹dTOF,即LiDAR。在dTOF中,發光器發射脈沖,脈沖碰到物體時會反射回來,然后計算得到脈沖的時間差。時間差越小則距離越近,時間差越大則距離越遠。這其中有一個難點,由于很多時候拍攝時距離物體較近,時間差較小,所以需要一個精密度較高的時鐘。

206.JPG

  iPhone 12 Pro和iPad Pro采用了dTOF,華為、vivo和OPPO采用了iTOF。這是因為蘋果掌握了dTOF的大部分專利,且很多功能不開放。在iTOF中,發射出來的不是脈沖而是正弦波,然后計算發射時的波和接收到的波的相位差,可以得到時間等信息。總之,iTOF以面發射光,dTOF以點發射光。

  此外,還有很多其他的3D成像技術,此處不再做介紹。

  03  3D攝像錄制

  最后,介紹幾種3D的應用場景。

205.JPG

  這是iPhone上的攝像頭,當人在解鎖手機或進行支付時,拍攝單幀圖像就可完成相關操作。這通常用于活體識別、人臉識別和人臉支付等。比如,在前段時間比較火的人臉支付中,就采用了這種單幀攝像的方式,即拍攝單幀深度圖或點云進行處理。

  采用3D攝像頭還可以避免“照片攻擊”。在2019年,曾有新聞報道稱可以用照片解鎖豐巢快遞柜,因此人們開始質疑人臉識別的安全性。iPhone X采用了3D攝像頭,其識別到的是3D數據,可以進行活體識別,避免了“照片攻擊”。

204.JPG

  接下來介紹單設備掃描。當一幀圖像不夠時,可以使用設備對物體進行掃描。在掃描的過程中,3D圖像會慢慢呈現出來。當物體有遮擋時,要采用合適的掃描方式。單設備掃描的主要對象是靜態物體,比如石獅子、杯子、沙發等。

203.JPG

  另一種是多設備靜態拼接。如圖是一個demo,采用一組攝像頭使其各拍攝一幀圖像,并將圖像拼接起來得到人臉模型。目前,這種設備已經開始出售,其原理就是使用多設備對物體進行多角度同時拍攝。單設備掃描的成像速度較慢(需要持續掃描才能成像),而多設備靜態拼接的成像速度較快,就像只按了一下快門,因為其采用了多設備進行拍攝。在遮擋部位較多的情況下,比如拍攝人的下頜,就要采用多設備拍攝。

202.JPG

  接下來介紹動態3D影棚。之前介紹的錄制方式的對象主要是靜態物體,動態3D影棚則可實現實時預覽和動態直播,延遲可以控制在500ms以內。其中,主要的問題是3D相機同步和多鏡頭干擾。之前提到,為了與可見光有區別,我們采用了紅外光,當兩個鏡頭同時向同一個物體發射光束時,物體上會有兩個疊加在一起的圖案,這就造成了多鏡頭干擾。為了解決這個問題,多鏡頭需要進行分時拍攝,但間隔時間不宜太長,要保證當前鏡頭拍攝完后,緊接著下一個鏡頭就開始拍攝,將速度保持在20-30fps。這樣,拍攝出來的就是動態的畫面。

201.JPG

  以上就是今天介紹的主要內容,謝謝大家!



更多信息可以來這里獲取==>>電子技術應用-AET<<

mmexport1621241704608.jpg

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 国产精品一区二区久久不卡 | 看全色黄大色黄女片做 | 成人观看天堂在线影片 | 欧美一二三区在线 | 在线毛片观看 | 免费看黄网站大全 | 亚洲第一网址 | 欧美性xxx极品 | 免费日批网站 | 热99视频| 欧美日韩免费一区二区三区 | 天天操天天操天天操 | 天天狠天天透 | 国产成a人片在线观看视频 国产成人91 | 欧美日韩一区二区在线视频播放 | 播9公社在线精品中文字幕 波少野结衣色在线 | 很污的乱小说 | 国产精品麻豆综合在线 | 波多野结衣中文字幕视频 | 2020精品极品国产色在线观看 | 在线视频你懂得 | 午夜做性视频 | 成人18视频在线观看 | 国产三级欧美 | 日韩欧美中文字幕在线播放 | 亚洲精品xxx| 成人欧美一区二区三区 | 欧美日本三级 | 97色在线观看免费视频 | 国产小视频在线观看免费 | 免费看黄网 | 日韩一区二区三区精品 | 午夜大片网 | 成年黄页网站大全免费动漫 | 黄色一级录象片 | 青青草色 | 午夜影网 | 黄色毛片黄色毛片 | 后式大肥臀国产在线 | 成人免费一级在线播放 | 日本簧片|