從“重建”到“可用”：aiSim3DGS方案如何閉環(huán)自動(dòng)駕駛仿真場(chǎng)景？
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢
在自動(dòng)駕駛技術(shù)飛速發(fā)展的當(dāng)下，高精度、高保真的仿真場(chǎng)景構(gòu)建成為關(guān)鍵。3D Gaussian Splatting（3DGS）憑借高效渲染與逼真場(chǎng)景還原能力，逐漸成為三維重建與仿真領(lǐng)域的焦點(diǎn)。然而，實(shí)際應(yīng)用中，如何將多源異構(gòu)數(shù)據(jù)高效轉(zhuǎn)化為可用的 3DGS 場(chǎng)景，如何保障場(chǎng)景與真實(shí)環(huán)境的一致性，成為了行業(yè)難題。
針對(duì)3DGS 落地自動(dòng)駕駛仿真的核心痛點(diǎn)， aiSim 打造從原始數(shù)據(jù)標(biāo)準(zhǔn)化到高保真仿真驗(yàn)證的全流程方案：用 aiData 工具鏈讓多源數(shù)據(jù)有序協(xié)同；借算法組合保障場(chǎng)景高度逼真；以 GGSR 渲染器實(shí)現(xiàn) “高效 + 真實(shí)” 渲染閉環(huán)；并能自由配置暴雨、夜晚等環(huán)境，模擬多模態(tài)傳感器，疊加虛擬交通流，覆蓋自動(dòng)駕駛極端測(cè)試工況。
二、3DGS 底層技術(shù)剖析
在訓(xùn)練階段，3DGS 不斷對(duì)高斯點(diǎn)的位置、形狀和不透明度進(jìn)行精細(xì)調(diào)校。3DGS 創(chuàng)新性地采用自適應(yīng)密度控制策略，在每次反向傳播后，去除那些對(duì)場(chǎng)景表達(dá)貢獻(xiàn)較小的不重要高斯點(diǎn)，并依據(jù)場(chǎng)景細(xì)節(jié)的需求對(duì)高斯點(diǎn)進(jìn)行分裂或克隆操作 。
對(duì)比傳統(tǒng)的神經(jīng)輻射場(chǎng)（NeRF）方法，3DGS 凸顯優(yōu)勢(shì)。NeRF 雖能構(gòu)建出具有高度真實(shí)感的連續(xù)、立體場(chǎng)景，實(shí)現(xiàn)空間坐標(biāo)到圖像色彩及密度的直接映射，但計(jì)算強(qiáng)度極高，單一場(chǎng)景構(gòu)建往往需要投入大量的算力資源與時(shí)間成本，尤其是在追求高分辨率輸出時(shí)，這一問題更為突出。
此外，NeRF 的可編輯性較差，單一場(chǎng)景的任何編輯都意味著要重新訓(xùn)練整個(gè)流程。而 3DGS 通過顯式建模方法，巧妙避開了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練中繁重的計(jì)算開銷，訓(xùn)練速度大幅提升，渲染效率更高 。同時(shí)，3D 高斯點(diǎn)能夠捕捉場(chǎng)景中的每一處細(xì)節(jié)，實(shí)現(xiàn)高精度的三維重建，并且支持實(shí)時(shí)渲染。
三、基于 aiSim 的 3DGS 方案全流程
1、原始數(shù)據(jù)輸入與標(biāo)準(zhǔn)化
（2）2D 語義分割：針對(duì)圖像數(shù)據(jù)做語義分割，輸出分割標(biāo)注，輔助 3D 場(chǎng)景的細(xì)節(jié)優(yōu)化。
（3）相機(jī)位姿優(yōu)化：校準(zhǔn)、優(yōu)化傳感器采集的位姿數(shù)據(jù)，確保 3D 重建時(shí)空間坐標(biāo)的準(zhǔn)確性，輸出精準(zhǔn)位姿信息。
在這個(gè)關(guān)鍵環(huán)節(jié)中，T-S 結(jié)構(gòu)發(fā)揮著核心橋梁作用，它使 NeRF 在處理圖像數(shù)據(jù)時(shí)所學(xué)習(xí)到的深度、法線及外觀等關(guān)鍵監(jiān)督信號(hào)，能夠順暢地傳遞至 3DGS 模型中。同時(shí)，引入 LiDAR 深度約束，進(jìn)一步提升了幾何建模的精準(zhǔn)度。LiDAR 所獲取的精確深度信息，作為一種強(qiáng)約束條件，參與到多模態(tài)數(shù)據(jù)的協(xié)同訓(xùn)練過程中，幫助 3DGS 更準(zhǔn)確地優(yōu)化高斯點(diǎn)的位置、協(xié)方差矩陣等參數(shù)，從而構(gòu)建出與真實(shí)場(chǎng)景高度契合的 3D 高斯場(chǎng)景。
經(jīng)過這一系列處理流程，原本離散、無序的點(diǎn)云與圖像數(shù)據(jù)，被成功轉(zhuǎn)化為連續(xù)、逼真的 3D 高斯場(chǎng)景表示，實(shí)現(xiàn)了從現(xiàn)實(shí)世界到數(shù)字孿生世界的高效、精準(zhǔn)映射，為后續(xù)的場(chǎng)景編輯與仿真應(yīng)用提供了優(yōu)質(zhì)的基礎(chǔ)場(chǎng)景。
為驗(yàn)證重建場(chǎng)景的一致性，aiSim 引入 DEVIANT 算法與 Mask2Former 算法形成雙重校驗(yàn)。其中 DEVIANT 算法聚焦幾何精度。通過模擬單目 3D 目標(biāo)檢測(cè)邏輯，對(duì)重建場(chǎng)景中車輛、行人等目標(biāo)的深度、位置、尺寸進(jìn)行校驗(yàn)。利用算法的深度等變性（對(duì)投影流形中深度平移 tz 的精準(zhǔn)約束），驗(yàn)證 3D 高斯場(chǎng)景中目標(biāo)的幾何參數(shù)是否與真實(shí)場(chǎng)景一致，避免因深度估計(jì)偏差導(dǎo)致目標(biāo)漂移或變形。
驗(yàn)證結(jié)果表明，該模型能夠成功檢測(cè)出由重建模型和基于網(wǎng)格的渲染引擎所渲染的車輛，這說明未引入明顯的領(lǐng)域差距。其中，遠(yuǎn)處目標(biāo)未被識(shí)別是由于模型本身的限制（檢測(cè)范圍小于50米）所致。
Mask2Former 算法則專注像素一致性。針對(duì)圖像語義分割維度，將重建場(chǎng)景的渲染圖像與真實(shí)場(chǎng)景圖像輸入 Mask2Former，對(duì)比道路、植被、建筑等區(qū)域的像素級(jí)標(biāo)注。通過約束交叉注意力提取局部特征，校驗(yàn)場(chǎng)景中紋理、邊界、語義區(qū)域的還原度，確保虛擬場(chǎng)景與真實(shí)環(huán)境在視覺細(xì)節(jié)與語義理解上高度匹配。
其中綠色區(qū)域代表兩種模型都檢測(cè)出的“car”類別區(qū)域，藍(lán)色區(qū)域代表僅公開模型檢測(cè)出的“car”類別區(qū)域，黃色區(qū)域代表僅aiSim模型檢測(cè)出的“car”類別區(qū)域。
從驗(yàn)證結(jié)果可以看出，在原始軌跡場(chǎng)景中，道路及兩側(cè)可見車輛均被綠色區(qū)域覆蓋，模型對(duì)無遮擋、常規(guī)視角下的車輛檢測(cè)穩(wěn)定；在極端新視角（3 米偏移）場(chǎng)景中，雖然視角的變化更新了部分環(huán)境元素（如左側(cè)垃圾桶等新物體出現(xiàn)），但車輛綠色檢測(cè)區(qū)域仍保持較好覆蓋，驗(yàn)證模型在視角偏移場(chǎng)景下的適應(yīng)性。此外，大多數(shù)黃色“誤差”來自于公開模型對(duì)目標(biāo)邊界預(yù)測(cè)過于膨脹（dilated），而藍(lán)色區(qū)域通常出現(xiàn)在車輛被部分遮擋或距離較遠(yuǎn)，導(dǎo)致aiSim未能識(shí)別。
通過 DEVIANT 算法與 Mask2Former 算法的協(xié)同驗(yàn)證，aiSim 的 3DGS 重建場(chǎng)景在物體的幾何位置、形狀，以及像素級(jí)的顏色、紋理等方面，都能與真實(shí)場(chǎng)景高度契合，真正實(shí)現(xiàn)了 “形神兼?zhèn)洹?，為自?dòng)駕駛系統(tǒng)的測(cè)試提供了極為真實(shí)、可靠的場(chǎng)景環(huán)境。
4、場(chǎng)景編輯與仿真閉環(huán)aiSim 的場(chǎng)景編輯工具賦予用戶強(qiáng)大的場(chǎng)景定制能力。用戶能夠在 3DGS 重建的基礎(chǔ)場(chǎng)景之上，靈活添加虛擬交通流，設(shè)置不同類型車輛的行駛路線、速度、密度等參數(shù)，模擬繁忙的城市交通或流暢的高速公路交通等多樣化場(chǎng)景 。同時(shí)，通過模擬極端天氣，如暴雨傾盆時(shí)路面的積水反光、暴雪天氣下的能見度降低、夜間的燈光照明效果等，為自動(dòng)駕駛系統(tǒng)測(cè)試提供更具挑戰(zhàn)性與真實(shí)性的環(huán)境。
此外，部署多模態(tài)傳感器，能夠模擬不同傳感器在各種場(chǎng)景下的數(shù)據(jù)采集情況，全面測(cè)試自動(dòng)駕駛系統(tǒng)對(duì)多源數(shù)據(jù)的融合與處理能力，極大地拓展了單一真實(shí)場(chǎng)景的應(yīng)用價(jià)值，為自動(dòng)駕駛算法的優(yōu)化提供了豐富多樣的測(cè)試工況。
aiSim 新構(gòu)建的GGSR（General Gaussian Splatting Renderer，通用高斯?jié)姙R渲染器）是實(shí)現(xiàn)高保真渲染的關(guān)鍵組件。它針對(duì)傳統(tǒng)方案中廣角鏡頭渲染效果不佳的問題進(jìn)行了深度優(yōu)化，有效增強(qiáng)了廣角鏡頭渲染下的一致性。在處理 FOV 更大的鏡頭時(shí)，通過優(yōu)化算法流程，顯著減少了近似誤差，避免了圖像變形、模糊等問題，使得渲染出的圖像在廣角視角下依然清晰、準(zhǔn)確。同時(shí)，該渲染器能夠有效減少偽影的產(chǎn)生，無論是在復(fù)雜的城市街景還是開闊的高速公路場(chǎng)景中，都能實(shí)現(xiàn)高保真度的 3DGS 重建場(chǎng)景渲染。
此外，aiSim在渲染流程中支持任意相機(jī)畸變模型接入，能夠根據(jù)不同相機(jī)的特性對(duì)渲染過程進(jìn)行精準(zhǔn)適配，使得仿真數(shù)據(jù)在色彩、亮度、對(duì)比度以及畸變校正等方面，都能高度貼近真實(shí)傳感器的輸出。另外依托共享代碼庫(kù)的射線 - 高斯交互邏輯，能更真實(shí)地計(jì)算激光射線與場(chǎng)景高斯的碰撞、反射，為自動(dòng)駕駛系統(tǒng)的功能測(cè)試與極限場(chǎng)景驗(yàn)證提供了極為可靠的數(shù)據(jù)支持，成功打通了從數(shù)據(jù)采集到場(chǎng)景重建再到仿真驗(yàn)證的完整閉環(huán)。
aiSim的3DGS 方案通過全流程技術(shù)創(chuàng)新，構(gòu)建起 “數(shù)據(jù)標(biāo)準(zhǔn)化 - 場(chǎng)景高保真 - 仿真全覆蓋” 的價(jià)值閉環(huán)，打通 3DGS 從技術(shù)潛力到工程實(shí)用的轉(zhuǎn)化路徑。
從痛點(diǎn)解決來看，方案以 aiData 工具鏈讓多源數(shù)據(jù)有序協(xié)同，解決了 3DGS 輸入 “碎片化” 難題；通過 T-S 結(jié)構(gòu)融合 NeRF 與 3DGS 優(yōu)勢(shì)，結(jié)合 LiDAR 深度約束，實(shí)現(xiàn)場(chǎng)景幾何與外觀的精準(zhǔn)重建；再經(jīng) DEVIANT 算法（幾何精度校驗(yàn)）與 Mask2Former 算法（像素語義對(duì)齊）雙重驗(yàn)證，確保重建場(chǎng)景與真實(shí)環(huán)境 “形神一致”，同時(shí)依托 GGSR 渲染器平衡高效渲染與高保真需求，讓 3DGS 真正適配自動(dòng)駕駛仿真的嚴(yán)苛要求。
從應(yīng)用價(jià)值來看，方案不僅提供了從真實(shí)場(chǎng)景到數(shù)字孿生的高效映射，更通過場(chǎng)景編輯工具支持極端天氣、虛擬交通流、多模態(tài)傳感器的靈活配置，讓單一場(chǎng)景衍生出多樣化測(cè)試工況。這種 “數(shù)據(jù) - 場(chǎng)景 - 測(cè)試” 的閉環(huán)能力，既降低了對(duì)真實(shí)路測(cè)的依賴，又為自動(dòng)駕駛算法迭代提供了高可信度的仿真環(huán)境。
▍參考資料
3DGS 綜述以及對(duì) 3DGS 的理解：A Survey on 3D Gaussian Splatting
Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation
3D Gaussian Splatting for Real-Time Radiance Field Rendering
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
