疫情背景下，Google 為了與本土開發(fā)者相聚，GDS 2020(Google 開發(fā)者大會)搬到線上，以“代碼不止”為主題，14+ 產(chǎn)品線，50+ 精彩技術(shù)演講，70+ 技術(shù)專家，6 天技術(shù)演講滿滿干貨。ARCore 壓軸出場，著重介紹了今年新推出的兩項AR領(lǐng)域的重磅功能 : Depth API(深度 API)以及持久云錨點(Persistent Cloud Anchors)技術(shù)，搭載引人入勝的精彩展示，帶你感受科技為生活帶來的無限可能。

Google 發(fā)布于2018年的 ARCore 是增強現(xiàn)實技術(shù)開發(fā)者的平臺，為 Android 和 iOS 用戶創(chuàng)造有效的 AR 體驗。目前該技術(shù)已支持7億臺以上的設(shè)備，被應(yīng)用成千上萬款 APP 上，并且持續(xù)成長中。

11月16日的 Keynote 演講，以及11月21日的兩場會議圍繞“ ARCore 新功能”和“深度 API 實現(xiàn) AR 真實感”兩大主題，介紹了 ARCore 在技術(shù)上的新進功能，在環(huán)境景深理解上的進階技術(shù)探索，以及與本地開發(fā)者的創(chuàng)新合作成果。加上科技達人多角度詮釋 ARCore 技術(shù)更新及本土案例，掀起科技迷們對 AR 的新一波熱情。

ARCore在中國 - 越來越多開發(fā)者正在創(chuàng)新運用

從 2018 年 ARCore 技術(shù)登陸中國，已經(jīng)在教育、購物、游戲等多個行業(yè)和大量開發(fā)者進行合作。隨著 ARCore 的不斷更新，越來越多的中國開發(fā)者正在創(chuàng)新應(yīng)用這項技術(shù)，為本地用戶帶來更多新奇體驗。

美圖 - 用 AR 拍出夢幻自我

美圖公司利用 ARCore 的增強臉部 API(Augmented Faces API)構(gòu)建了 100 多個自拍濾鏡，讓用戶可以在拍攝照片和視頻時體驗 AR 特效。增強臉部 API 提供高精度的由 468 個點組成的密集 3D 臉部網(wǎng)格，追蹤嘴部動作、眨眼、點頭和一些復(fù)雜的細節(jié)。

此外，新推出的瞬間放置 API (Instant Placement API) 對美圖更是如虎添翼。加上幾行代碼，通過將 AR 對象錨定到 2D 圖像中，讓用戶不需要掃描，就可以放置虛擬物件并進行互動。

有道少兒詞典 - 用 AR 身臨其境地學(xué)習(xí)

有道少兒詞典使用 AR 打破了時空限制，讓孩子們有趣和又有效的方式學(xué)習(xí)新單詞。利用 ARCore 的環(huán)境理解(Environmental Understanding)及平面識別(Plane Finding)，識別環(huán)境中的對象和特征，精確地理解環(huán)境，加上炫酷逼真的 3D 模型，為孩子們帶來身臨其境學(xué)單詞的樂趣體驗。

學(xué)習(xí)過程中，孩子們不僅可以將精致模型投射在家里，從各種角度進行觀察，放大縮小或移動;還可以點擊模型上的中英文詞框，或點進查詞結(jié)果頁，查看中英單詞的權(quán)威釋義，使形象和字義深刻聯(lián)結(jié)。這大大提升了學(xué)習(xí)的趣味性，讓孩子們邊學(xué)邊玩兩不誤。

滴滴 - 用 AR 讓路癡永不迷路

在火車站、商場和機場等大型公共區(qū)域，你是否有打上車卻找不到司機的體驗?AR實景導(dǎo)航，讓路癡輕松找到方向。

基于 ARCore 技術(shù)，滴滴構(gòu)建了一個實景導(dǎo)航解決方案，實時識別用戶和環(huán)境之間的定位關(guān)系，AR 實景導(dǎo)航引導(dǎo)信息逼真地和實景環(huán)境相結(jié)合，用戶只需要跟著 AR 路標走，直接跳過轉(zhuǎn)換 2D 地圖信息的步驟。在這個過程中，ARCore 的環(huán)境理解和運動跟蹤功能，確保手機始終識別用戶方位，給出正確的路標指導(dǎo)。

在定位時，ARCore 會提示用戶獲得一張有效定位圖片，利用運動追蹤功能，感知用戶位置、移動速度和角度。同時，ARCore 通過環(huán)境理解功能可以理解周圍現(xiàn)實環(huán)境，估算平面信息，不論是商場地面，還是垂直于水平地面的墻壁、指示牌，它都能快速理解并相應(yīng)放置虛擬指示路標，使引導(dǎo)信息渲染得更加逼真，讓用戶一看就明白。

這種有用、科技感十足的導(dǎo)航方式，一經(jīng)推出就大受用戶好評。這項功能在中國、日本等多地上線，據(jù)數(shù)據(jù)顯示，它幫助用戶節(jié)省近1/4 的時間，滿意度達 80%。

ARCore 新進展 - 讓更多人，在更多地方體驗更逼真的增強世界

除了這些豐富多彩的創(chuàng)新合作成果，本次 Google 開發(fā)者大會上，還著重介紹了 ARCore 技術(shù)的最新進展，為各位開發(fā)者們帶來了兩項AR領(lǐng)域的重磅功能：Depth API(深度 API)以及持久云錨點(Persistent Cloud Anchors)技術(shù)。

深度 API - 解決 AR 界的遮擋及互動難題

2020年中，Google 發(fā)布了 ARCore Depth API(深度 API)，為開發(fā)者們帶來解決虛擬物件擬真技術(shù)難題的希望，開發(fā)者憑借 Depth API 和單個 RGB 攝像頭就可創(chuàng)建出深度圖。不依賴任何特殊硬件，所以在大部分兼容 ARCore 的設(shè)備上都是可以使用深度API的。

Depth API 的一項最關(guān)鍵功能就是“遮擋”：虛擬物體能夠準確地出現(xiàn)在現(xiàn)實物體后面，與場景真正融合在一起。此前沒有遮擋功能，虛擬物體容易“橫空出世”，更像是現(xiàn)實世界中的“貼圖”，讓人瞬間出戲。

△ 左邊沒有遮擋功能的“喵星人”缺乏真實感，右側(cè)開啟遮擋功能的“喵星人”則逼真地藏在了遮擋物后面。

那么究竟深度 API 是怎么實踐的呢?怎么使用深度呢?

首先，我們先定義深度：就像下圖里面表示的，C 點是攝像機的位置，Z 軸是攝像機的主軸。大寫的 A 點，表示一個現(xiàn)實的物體。C 到 A 點的深度，就是線段 CA 在 Z 軸的投影。

一旦我們知道場景里面的物體的距離，我們就可以在渲染虛擬物體的時候使用這個信息，進行 Z buffer 計算。比較當前的像素點的深度與之前渲染在這個像素的點的深度，如果已經(jīng)有別的物體出現(xiàn)在更近的位置，那么我們就忽略當前的像素點，這樣就實現(xiàn)了基于深度的遮擋效果。

如上圖所示，我們使用藍色表示近處的深度，藍色越深表示一個物體靠近攝像頭越近，它的的深度值就越低。當我們啟用深度表示時，就可以看到桌子的深度比椅子所在的位置深度低，所以桌子就能遮擋住椅子。

此外，使用深度信息，還可以做出一系列擬真的特殊效果。例如更加逼真的物理反彈飛濺，避開障礙物的最佳路徑規(guī)劃，或完美貼合在凹凸不平的表面。也可以近一步運用粒子特效，模擬一些很難用其它傳統(tǒng)的渲染技術(shù)達到真實感的自然現(xiàn)象，如火花、落葉、下雨、下雪等。

知名的社交應(yīng)用 Snap 公司的設(shè)計師和工程師就將 Depth 的多項特性巧妙地融合在一起，開發(fā)出了一套與實景完美結(jié)合的 Snapchat 濾鏡，包括跳舞熱狗(Dancing Hotdog )以及 Android 版獨有的海底世界(Undersea World)。此外，Snapchat 也在濾鏡開發(fā)工具中，整合了ARCore Depth API ，濾鏡創(chuàng)作者只需在開發(fā)工具中下載 ARCore Depth API 模版，就能開發(fā)出基于深度，更沉浸更真實的體驗。因為開發(fā)過程大大簡化，濾鏡創(chuàng)作者們可以更輕松地應(yīng)用高級的深度功能。

△ Snapchat 濾鏡的真實體驗感

除了移動游戲與社交軟件上的應(yīng)用之外，深度 API(Depth API) 還在很多工具類應(yīng)用上大放光彩。

例如，提供遠程技術(shù)解決方案的應(yīng)用程序 TeamViewer Pilot 在視頻會話中加入 AR 注釋，這都多虧了 Depth API 幫助程序更好地理解環(huán)境及物件，世界各地的專家足不出戶，就可以準確使用實時 3D AR 注釋為用戶提供遠程技術(shù)支持。

△ TeamViewer Pilot 應(yīng)用中的 3D 注釋功能讓專家遠程精準標記出重要細節(jié)

三星的快速測量工具 Quick Measure 也在技術(shù)支持下不斷迭代 ，目前 Quick Measure 就可以在三星 Galaxy Note10+ 和 Galaxy S20 Ultra 的設(shè)備上應(yīng)用 ARCore Depth API ,為用戶提供更精確的測量功能了。

三星相機技術(shù)項目經(jīng)理 Soowan Kim 認為 Depth API 大有可為：“Depth 會從多個層面豐富用戶的 AR 體驗。它將減少掃描時間，加快平面檢測速度，即使是紋理不清晰的平面也能快速檢測。

△ Quick Measure 實現(xiàn)更精準測量

持久云錨點 (Persistent Cloud Anchors) - 讓 AR 物體永存的秘密

ARCore 云錨點，通過 Google 的云服務(wù)托管錨點，可以讓二個人甚至是二百人在同一個虛擬世界共享與互動。全新的持久云錨點則加強了這個功能，讓用戶將虛擬內(nèi)容“儲存”到任意現(xiàn)實場景中，將了文字、影像信息、或3D人物虛擬內(nèi)容的和現(xiàn)實世界地點關(guān)聯(lián)起來，永久保存共享。

△ SJ Labs 通過 AR 標記協(xié)助指引旅客們在斯德哥爾摩中央車站內(nèi)行進

這一技術(shù)，讓許多人以城市真實環(huán)境互動的沉浸 AR 應(yīng)用及游戲得以實現(xiàn)。例如MARK，是由 創(chuàng)夢天地和 Sybo 開發(fā)的一款A(yù)R社交應(yīng)用，可以讓你通過智能手機，在現(xiàn)實世界中和朋友、粉絲共同發(fā)現(xiàn)、共同創(chuàng)作的和現(xiàn)實場景完美融合的AR涂鴉。運用 AR 和地點場景完美整合的特性，你還可以用來裝飾房屋、進行多人大范圍的尋寶游戲、甚至跨城市的慈善募款等。

△MARK應(yīng)用中與粉絲好友一起 AR 涂鴉

此外，沉浸式內(nèi)容工作室 Phoria 與 Google 、Netflix、WMF和一加合作，推出大自然主題的移動端 AR 互動應(yīng)用：《Rewild》(中文直譯為：重歸荒野)。首個試播集名為《Frozen》，是系列四部曲的第一部。你在體驗過程中，需要先用手機掃描周圍環(huán)境，通過掃描和探索來發(fā)覺故事中的 AR內(nèi)容。通過該應(yīng)用，你可以利用周圍的空間與 AR 進行互動，好像親眼目睹地球的浩劫與救贖，效果震撼人心。

△ REWILD 應(yīng)用中可身臨其境探索宇宙

接軌5G- AR賦能 5G 更多沉浸體驗

當我們討論行動互聯(lián)網(wǎng)的未來, 相信“5G” 絕對是那個最重要的關(guān)鍵詞。

5G 賦能了巨量、穩(wěn)定、且快速的資料互聯(lián), 無論是對用戶，或是整個IoT生態(tài)圈，都將帶來革命性的新機會, 也為AR的應(yīng)用帶來前所未有的可能。

Google ARCore 團隊也和許多運營商合作嘗試了AR 加 5G 的全新應(yīng)用。例如，在南韓，這個全球第一個邁入 5G 全面商用化的國家，LG Uplus 在首爾地鐵站，建立了 AR 藝術(shù)長廊以及展示車廂。雖然地鐵站一向都是人數(shù)多、信號差的地方，但是有了 5G 的加持，用戶可以直接通過手機觀看韓流明顯或是瑜伽教練的真人全息影像，也可以順暢體驗復(fù)雜的 3D 人物舞蹈。

此外，Google 也與SK Telecom，及文化遺產(chǎn)管理局合作，創(chuàng)建了全球第一個5G 賦能的AR增強現(xiàn)實文旅體驗，作為 5G 網(wǎng)絡(luò)服務(wù)示范。通過ARCore 賦能，用戶可以身臨其境的了解昌德宮的歷史故事，生動地看到昌德宮的金泉橋、仁政殿、熙政堂等景點。之前因文化遺產(chǎn)保護而限制入內(nèi)的地方也得以公開。 此外，用戶還可以與AR中的王和王后一起拍攝 AR 照，或進行 AR 射箭、AR 放風(fēng)箏等豐富多彩的 AR 體驗。SK 電信品牌營銷集團負責(zé)人表示：“今后將利用 5G 技術(shù)，推出更多能夠為社會做出貢獻的活動”。

AR 作為一種視覺沉浸式媒介，持續(xù)吸引著社會各界的廣泛關(guān)注。Google 作為技術(shù)先驅(qū),正積極地與全球開發(fā)者合作，用大放異彩的 ARCore 帶來一個又一個驚喜。這種變革式的新體驗，在不斷發(fā)展中已有長足進步，但想必它還有更為廣闊的遠景。未來，它將如何予力社會與個人，改變你我的生活呢，讓我們拭目以待。

想馬上開始實做你的第一個AR 應(yīng)用卻沒有基礎(chǔ)?Google 與網(wǎng)易有道在中國大學(xué) MOOC(慕課)合作，上線 ARCore 技術(shù)零基礎(chǔ)免費線上課程，助力開發(fā)者學(xué)習(xí)成長。你可以直接到慕課官網(wǎng)搜索 “Google ARCore 入門開發(fā)課程“, 馬上開始學(xué)習(xí)!

正在開發(fā)AR app 但總是覺得虛擬物件效果不夠真實?你可以通過Google的示范應(yīng)用ARCore Depth Lab 馬上體驗 ARCore 深度 API 的功能。這個應(yīng)用已經(jīng)上架 Google Play，并且代碼開源，在 Github 中直接搜尋 arcore-depth-lab，相關(guān)的代碼、論文、簡介小視頻都可以免費下載。

免責(zé)聲明：市場有風(fēng)險，選擇需謹慎!此文僅供參考，不作買賣依據(jù)。

關(guān)鍵詞：