[UrbanScene3D 논문리뷰] Capturing, Reconstructing, and Simulating: the UrbanScene3D Dataset

VCC

도시환경 3D 데이터셋인 UrbanScene3D의 논문을 읽어봤다!

몇달 전에 정리해뒀는데 이제야 올리는 나 .. 

쩝

 

일단 우리 UrbanScene3D는요~?

입니다

---

0. Abstract

UrbanScene3D : urban scene 인식 및 재구성을 위한 대규모 데이터 플랫폼

 

대규모 실제 도시 지역과 합성 도시를 포함한 16개 scene을 포함하는 128k 이상의 고해상도 이미지가 포함

 

고정밀 LiDAR 스캔과 서로 다른 관찰 패턴을 가진 수백 개의 이미지 세트도 포함

→ 항공 경로 계획 및 3D 재구성 알고리즘을 설계하고 평가할 수 있는 포괄적인 벤치마크를 제공

 

각 건물에 대해 수동으로 주석이 달린 고유한 인스턴스 레이블과 함께 Unreal Engine 및 Airsim 시뮬레이터에 구축된 데이터 세트

→ 2D 깊이 맵, 2D/3D 경계 상자 및 3D 포인트 클라우드/메쉬 분할 등과 같은 모든 종류의 데이터를 생성

 

물리적 엔진과 조명 시스템을 갖춘 시뮬레이터는 다양한 데이터를 생성할 뿐만 아니라 향후 연구를 위해 제안된 도시 환경에서 자동차나 드론을 시뮬레이션

---

1. Introduction

데이터 증가 → 관련 연구 빠르게 증가

• 실내 scene : 충분한 데이터 + 실시간 상호작용 → 데이터 중심 방식으로 잘 해결
• 실외 scene : 효과적인 장치 부족 + 광범위한 확장 → 실외 데이터 수집 어려움 다양한 날씨, 빛 → 빠르게 변함 → 데이터를 구조화하고 강력한 알고리즘 설계하는 데 어려움을 겪음

현재 실외 데이터셋은 온보드 장비에 의해 구축됨에도 불구하고 전체 환경을 완벽하게 포착하는 것은 제한된 시야와 라우팅 선택에 의해 어려움

3D 모델러에 의해 구성된 도시 데이터셋은 일반적으로 깨끗하고 완전하지만, 내부 모델은 기하학적, 텍스처 디테일이 부족

⇒ 이러한 문제를 해결하기 위해 UrbanScene3D를 제시

(UrbanScene3D : Unreal Engine 및 AirSim에 구축된 편리한 시뮬레이터와 함께 다양한 규모의 인공 및 실제 재구성 장면으로 구성된 대규모 도시 장면 데이터 세트)

UrbanScene3D의 합성(상단) 및 실제(하단) 장면 개요

man-made scene models(그림의 상단) :

컴팩트한 구조를 갖고 있음

 

UrbanScene3D(그림 하단) :

조밀하고 상세한 scene 모델 제공 (다중 뷰 스테레오(MVS) 기술을 통한 항공 이미지로 재구성된)

사실적인 질감과 꼼꼼한 기하학적 구조를 갖고 있음

 

특히 야외 scene을 더 잘 획득하고 재구성하는 방법을 조사하기 위해

• scene 대표 세트를 선택하고 일련의 공중 경로를 따라 비행하는 드론을 사용하여 캡처
• 이러한 비행은 3D 도시 장면 재구성을 위한 다양한 계획 알고리즘에 의해 계산됨 → 각 대표적인 환경에 대해 해당 장면 관찰(항공 획득 경로 및 캡처된 이미지 세트)과 함께 다양한 재구성된 메시를 제공

실제 세계와 합성 지상 실측 모델에 적용된 고정밀 레이저 스캐너에 의해 재구성된 각 메시의 포인트 수준 정확도와 완전성 분석을 제공하는 벤치마크를 구성

→ 경로 계획 전략과 MVS 알고리즘 모두에 대한 강력한 평가가 가능

AirSim의 물리적 엔진을 통해 사용자는 로봇(자동차/드론)을 시뮬레이션하고 제안된 환경에서 다양한 자율 작업을 테스트 할 수 있음

합성 장면과 실제 장면을 모두 포함 → 결과 알고리즘의 일반화 능력을 효과적으로 확장

 

요약

i) 다양한 분야의 연구를 용이하게 하는 대규모 도시 장면 데이터 세트(3).

ii) 3D 도시 재건을 위한 **항공 경로 계획에서 다양한 요인의 영향을 조사(4)**하기 위한 포괄적인 벤치마크(5)

iii) 자율 주행, 로봇 공학 및 구현된 AI 연구를 위한 사용하기 쉬운 시뮬레이션 플랫폼(6)

---

2. Related Work

Outdoor datasets

자율 주행의 빠른 발전 → 거대한 야외 데이터셋 포함

 

지상 기반 센서 : 소규모 scene 캡처 가능 but 뷰와 라우팅 선택이 매우 제한적

→ 대규모 도시 지역을 커버하는 데 어려움

 

무인항공기(UAV), 드론 : 뷰가 좋고 자유도가 높음

→ 넓은 지역의 완전한 커버리지에 적합

 

대부분의 기존 UAV 기반 데이터셋 : 전체 장면을 캡처하지 않고 인식 작업에 대한 부분 관찰만 제공

UrbanScene3D : 전체 3D 장면을 MVS 방식으로 재구성할 수 있는 완전한 캡처를 얻기 위해 드론 경로를 계획

 

Synthetic CAD datasets

실제 데이터 세트와 달리 CAD 모델로 합성 데이터셋 구축 → 저렴한 비용으로 완전히 구조화된 환경 제공 가능

but 기하학적, 텍스처 디테일 부족

⇒ 격차 해소를 위해 HoliCity는 실제 파노라마를 CAD 모델과 정렬하여 실제 질감을 제공

그러나 geometry가 너무 거칠고 파노라마가 전체 장면의 일부만 포함 → 여전히 불일치

 

UrbanScene3D : 실제 CAD 장면과 합성 CAD 장면을 모두 포함

→ 고품질 도시 재구성과 전체론적 장면 이해를 위한 연구를 용이

3D 도시 장면의 온라인 실시간 캡처 및 이해를 자극하는 시뮬레이터를 제공

 

Aerial path planning for urban scene capture

드론으로 urban scene을 캡처하기 위해 Aerial path planning은 매우 중요

수동제어, 지그재그 패턴 :

비효율적 + 적절한 커버리지 달성 어려움 + 실용적 요소(안전제한, 배터리 용량) 충족 어려움

→ 문제 해결을 위한 기존의 방법 :

거친 프록시 모델이나 상단 뷰 이미지를 input으로 하여 특정 목표와 제약 조건에 따라 드론 경로를 최적화

• Smith : 더 나은 다중 뷰 스테레오 결과를 위한 최적화 목표를 설계하여 재구성의 완전성과 정확성을 보장
• Zhang : 경로 길이를 적절하게 단축하고 급격한 회전을 줄이기 위한 연속 경로 플래너를 제안
• Zhou : 오프사이트 계획을 수행할 수 있도록 하기 위해 위성 이미지를 사용하여 뷰 선택을 위한 2.5D 프록시를 추정

온라인 계획을 위해 연구자들은 드론 탐색 및 탐사를 위해 2.5D 높이 맵을 구축하거나 건물의 3D 경계 상자를 즉시 추정하는 방법을 배움 → 유효한 데이터가 부족하기 때문에 일반적으로 포착 뷰 또는 비행 궤적을 최적화하기 위해 수공 휴리스틱 기능에 의존

but 최종 재구성의 품질은 관측치 간의 고차 관계에 의해 제한되며, 이는 휴리스틱 및 최적화 설계로 모델링하기 어려움

 

논문의 데이터와 벤치마크는 이 주제에 대한 향후 연구를 효율적으로 촉진

---

3. The UrbanScene3D Dataset

UrbanScene3D의 목표 : 서로 다른 스케일의 도시 scene 환경에서 3D 비전, 그래픽 및 로봇 연구를 위한 일반적인 데이터 플랫폼을 제공

UrbanScene3D는 CAD 및 재구성된 메시 모델과 해당 항공 이미지를 사용하여 10개의 합성 장면과 6개의 실제 장면을 제공

합성 CAD scene은 건물, 다리, 거리, 초목 등 다양한 콤팩트한 원시 구조로 구성되며, 이 모든 것은 전문 예술가에 의해 건설

실제 scene은 드론을 사용하여 MVS의 이미지를 캡처

논문에서는 3D 도시 획득을 위해 DJITerra1에서 일반적으로 사용되는 산업 솔루션인 경사 사진으로 생성된 공중 경로를 따르도록 드론을 프로그래밍

이러한 이미지를 기반으로 상용 MVS 솔루션인 ContextCapture2로 장면을 재구성

특히, 벤치마크에 대해 선택된 대표적인 장면에는 다양한 설정 하에서 다양한 경로 플래너를 사용하는 엄청난 양의 캡처 데이터가 추가로 포함됨

 

4개의 합성 scene과 2개의 실제 대표 scene

 

UrbanScene3D와 기존 실외 데이터 세트의 차이점을 요약 & 특징

• Extensive scale

대부분의 기존 데이터셋은 대규모 scene의 complete 캡처를 제공하지 않음

논문의 데이터셋에는 24km2 이상의 지역을 포괄하는 세 개의 대규모 도시 scene이 포함됨

multiple real-world complete scene 제공

다양한도시 scene과 그에 상응하는 샷 포즈가 있는 항공 이미지도 이용할 수 있음

논문의 드론 비행 경로 길이는 최대 17km일 수 있어 SLAM 또는 SfM 연구에 도움이 됨

 

• Path planning research

현재 경로 계획 방법의 경우 프록시 정확도 및 오버랩 속도와 같은 요소가 중요한 역할을 함

논문의 경로 계획 벤치마크는 특히 이러한 요인에 대한 다양한 설정을 포함함

최종 재구성 품질과 획득 효율성에 대한 그들의 영향을 보여줌(5항)

기존 벤치마크는 이러한 요소를 고려하지 않고 합성 scene만 포함함

논문의 벤치마크는 많은 비행 경로를 포함하기 때문에 경로 계획 기술에 대한 연구에 도움이 됨

 

• Multiple captures

실외 환경의 날씨, 조명 조건은 인식과 재구성에 큰 문제임

논문의 벤치마크는 다른 시간에 걸쳐 각 장면에 대해 여러 개의 드론 비행을 제공하며, 이는 데이터의 다양성을 크게 증가시켜 학습 기반 방법을 통해 이 문제를 해결하는 데 도움이 됨

(다양한 조명 조건에서 벤치마크의 실제 장면 이미지의 풍부함(10k+)은 기하학, 재료 및 빛을 분리할 수 있는 NeRF에 대한 향후 연구를 가능하게 함)

 

• Simulation environment

대부분의 기존 자율 주행 시뮬레이터, UAV는 가상 scene에서만 작동함

논문의 시뮬레이터는 실제 scene을 가져와 그 안에 있는 드론을 시뮬레이션하기 때문에 sim-to-real gap이 줄어듦

논문의 시뮬레이터는 현장의 범위를 실시간으로 보여줄 수 있어 UAV 탐사에 대한 연구에 용이함

---

4. Scene Acquisition with Aerial Path Planning

UrbanScene 3D 데이터 세트를 벤치마크까지 확장하여 다양한 경로 계획 알고리즘의 품질과 효율성뿐만 아니라 5절의 입력 프록시의 영향을 평가

UrbanScene3D는 인스턴스 분할, 다중 뷰 스테레오에서 depth estimation(깊이 추정) 및 새로운 뷰 합성에 이르기까지 다양한 잠재적 애플리케이션을 제공 (6항)

UrbanScene 3D에는 프록시, 지상 실측 자료 등 경로 계획 알고리즘을 테스트하고 재구성된 결과를 분석하는 데 필요한 모든 데이터가 포함되어 있음

대부분의 path planners는 일반적으로 환경의 사전 계산된 coarse model(프록시라고도 함)에 의존함

프록시는 단순화된 경사 사진 통과 후 빠른 재구성, 위성 이미지, 지도 제공자 또는 실시간 재구성을 통해 얻을 수 있음

토폴로지의 정확도 및 면 정규성을 포함한 프록시의 품질은 재구성의 최종 품질에 영향을 미칠 수 있음

• 4.1 : 서로 다른 궤적을 생성하는 데 사용한 4가지 경로 계획자를 간략하게 소개
• 4.2 : 경로 계획에서 프록시의 영향을 평가하기 위해 데이터 세트에서 사용한 다양한 프록시 소개

4.1 Aerial Path Planning Methods

더 많은 경로와 이미지를 제공하기 위해, Oblique photography, 스미스, 저우, 장이 제안한 방법을 포함한 네 가지 다른 경로 플래너를 사용

4.2절에 언급된 다른 프록시의 경로를 서로 다른 씬에 대해 서로 다른 오버랩 속도로 생성함으로써 합성 scene에 대해 100개, 실제 scene에 대해 26개의 서로 다른 경로를 생성

합성 scene school과 실제 scene ploytec에서 4개의 플래너로 생성된 경로

Oblique photography

이미지 중첩과 지상 샘플 거리(GSD)를 고려하여, 비스듬한 사진은 고정된 높이(GSD에 의해 계산됨)에서 S자형 궤적을 생성하고 필요한 캡처 위치를 계산

S자형 궤적은 일반적으로 불규칙한 모양으로도 영역의 완전한 커버리지를 보장할 수 있는 CCPP(Complete Coverage Path Planning) 알고리즘에 의해 계산됨

턴 수가 최소화되어 캡처 효율성이 크게 향상

Planner proposed by Smith et al

Oblique photography와 달리, smith는 다중 뷰 스테레오(MVS) 프로세스에서 삼각측정의 잠재적 오류와 특징 일치를 모두 고려하는 휴리스틱 기능, 재구성 가능성에 따라 시점을 직접 최적화함

각 반복에서 스미스는 먼저 현재 시점 집합에 대한 각 점의 소위 재구성 가능성을 계산

→ 각 관점의 위치와 방향을 조정하여 이 측정을 최대화

Planner proposed by Zhou et al

Smith와 마찬가지로, Zhou는 계획 중에 각 지점의 재구성 가능성을 고려함

but 쓸모없는 관점을 줄이기 위해서만 이 측정을 사용

complete하고 highly redundant(매우 중복) 해야 하는 large viewpoint set를 생성함

각 반복에서 계산된 재구성 가능성에 대한 뷰 중복성을 정의하고 그에 따라 가장 중복된 관점을 삭제

Planner proposed by Zhang et al

Oblique photography에 비해 smith와 zhou는 더 높은 캡처 품질로 궤적을 생성함

but 관점에 정의된 휴리스틱 함수는 최종 궤도에서 많은 급격한 전환을 가져옴

→ 급격한 속도 변화는 캡처 효율을 크게 감소

Zhang은 휴리스틱 기능에 경로 부드러움을 포함하고 RRT(Rapid-exploring Random) 트리를 활용하여 효율적이고 고품질의 궤적을 검색함

 

4.2 Geometric Proxies

프록시는 항공 경로 계획 방법에 필수적임

자세한 프록시는 일반적으로 훨씬 더 나은 재구성 결과로 이어짐

기존 연구 : 경로를 계획하기 위해 대략적인 scene 프록시, 위성 이미지에서 추출된 2.5D 모델 사용

UrbanScene3D : 프록시, 경로 및 재구성된 모델의 해당 특성 간의 관계를 분석하는 데 사용할 수 있는 다양한 수준의 세부정보 제공

scene 프록시는 다른 수준의 세부사항 / Box: the roughest proxy (가장 거친) Coarse: the coarse level of proxy (거친) Inter: the intermediate level of proxy (중간) Fine: the finest level of proxy (미세)

 

• box proxy

incorrect topology를 가진 프록시 중 가장 거친 수준임

scene에서 설정된 건물을 경계 상자로 교체하여 구축됨

실제 scene에서는 안전 문제로 인해 box proxy가 사용되지 않음

 

• coarse proxy

box proxy와 마찬가지로 scene에서 각 건물의 경계 상자를 찾아 구축됨

그러나 coarse proxy는 토폴로지가 더 정확하므로 경로 계획 결과가 더 정확함

 

• intermediate proxy

oblique photography로 캡처된 다운샘플된 이미지로 재구성됨

합성 scene의 ground-truth meshes (fine)도 프록시로 사용할 수 있으며, 이는 경로 계획 프로세스 중에 가장 큰 기하학적 정보를 제공함

 

• fine proxy

실제 scene의 fine proxy는 oblique photography으로 캡처된 non subsampled 된 이미지로 재구성됨

실제 scene에는 지상 실측 메시가 없기 때문에 고밀도 이미지에 의해 재구성된 모델을 해당 미세 프록시로 사용

 

---

5. Scene Reconstruction Benchmarks

에너지 비용, Aerotriangulation 정확도 및 재구성 품질에 대해 서로 다른 경로 계획 방법으로 생성된 경로를 평가하여 재구성된 메시의 포인트 수준 정확도와 완성도 분석을 제공

• 5.2 : UAV 포착의 에너지 소비 통계
• 5.3 : 서로 다른 계획자의 Aerotriangulation 결과를 분석
• 5.4 : 재구성 결과를 평가
• 5.5 : 네 명의 계획자 모두를 전체적으로 비교
• supplementary material : 다른 중복에 대한 평가, 모델 재구성 비용, 기타 장면의 재구성 평가와 같은 기타 정보

5.1 High-precision LiDAR Scan

합성 scene은 평가를 위한 실측 자료 메시와 함께 제공됨

실제 scene의 경우 GPS localization 장치가 장착된 고정밀 LiDAR 스캐너로 건물 전체를 스캔함

그런 다음 포인트 클라우드가 서로 등록되므로 건물 전체를 정밀하게 LiDAR 스캔함

LiDAR 스캐너는 자가 교정 및 자가 등록 기술을 갖춘 트림블 X7

ranging noise는 0.5mm, 거리 정확도는 2mm, 각도 정확도는 21'이며 3D 포인트의 정확도는 10m에서 1.5mm, 20m에서 2.4mm임

자가 교정을 포함하여 각 스캔에는 2분 34초가 걸림

실제 장면 폴리텍의 경우 전체 등록 오차가 6mm이고, 실제 장면 아트사이에서는 전체 등록 오차가 3mm임

합성 장면에서 서로 다른 프록시를 갖는 서로 다른 방법의 Aerotriangulation 오차

 

5.2 UAV Capturing Cost

비행 경로의 길이에 따라, 총 회전각과 같은 경로의 효율은 전체 에너지 소비에 영향을 미침

드론은 회전 근처에서 가속 및 감속할 때 더 많은 에너지를 소비함

합성 장면에서 서로 다른 프록시를 갖는 서로 다른 방법의 Aerotriangulation 오차

실제 scene ArtSci에서 서로 다른 방법으로 계획된 비행 경로의 배터리 소모량 통계를 보여줌

포획 비용, 즉 비행 경로의 효율성은 주로 경로 패턴에 의해 영향을 받음

oblique photography은 경로가 가장 간단하기 때문에 배터리 비용이 거의 낮음

일반적으로 Zhang이 제안한 방법은 비용 함수에 경로 효율을 명시적으로 최적화하기 때문에 다른 두 방법보다 배터리 소모량이 낮음

 

5.3 Aerotriangulation Error

장면을 재구성하기 전에 캡처된 이미지에 대해 항공 이미지를 사용한 삼각 측량인 aerotriangulation 프로세스를 수행하여 카메라의 포즈를 결정하고 환경의 sparse point cloud을 얻음

현장 Town에서 테스트한 90%와 중복되는 다양한 프록시의 aerotriangulation 오류 통계

 

Smith, Zhou가 제안한 방법의 aerotriangulation 결과는 서로 다른 수준의 프록시에 상당히 민감함

Zhang이 제안한 방법의 경우, 프록시가 미세해질수록 RMS-픽셀(픽셀의 루트 평균 제곱 오차), RMS-meter(미터에서의 루트 평균 제곱 오차) 및 reprojection 오차는 감소

그러나, Zhou과 비교했을 때, 이 방법으로 캡처된 일부 이미지는 잘 보정되지 않음

Zhou, Zhang의 aerotriangulation 결과는 Smith보다 낮은 RMSE를 가지고 있음

oblique photography으로 촬영된 영상도 교정이 잘 되어 있고, 서로 엄밀하게 겹쳐져 있어 aerotriangulation error가 적음

 

5.4 Reconstruction Accuracy and Completeness

서로 다른 프록시를 가진 네 명의 계획자의 재구성 결과를 평가

재구성 정확도와 완성도의 결과

평가는 씬 스쿨(scene School)에서 90% 중첩되어 수행

90% 또는 95% 정확도 x의 값은 ground-truth 모델에서 재구성 모델의 정점 중 가장 가까운 모든 점에 대해 90% 또는 95%의 거리가 x보다 작다는 것을 의미

0.02m, 0.075m 또는 0.075m 완전성 x%의 값은 재구성 모델에서 ground-truth 모델의 꼭짓점 중 가장 가까운 모든 점에 대해 x%가 0.02m, 0.05m 또는 0.075m 미만의 거리를 갖는 것을 의미

90% and 95% 정확도보다 작을 경우 정확도가 높아지고, 0.02m, 0.05m, or 0.075m 안정성보다 클 수록 정확도가 높아짐

 

smith, Zhour가 제안한 방법의 재구성 결과의 정확성과 완성도는 프록시가 미세해질수록 모두 증가함

Zhang의 결과의 정확성과 완전성은 프록시와 그다지 일치하지 않음

다른 방법으로 생성된 재구성된 결과와 재구성 오류의 시각화, 값이 클수록 두 번째 및 세 번째 행에 대한 정확도, 완성도가 떨어짐

정확도 및 완전성 값은 0 ~ 0.04 및 0 ~ 0.1로 고정

복잡한 기하학과 높은 폐색은 재구성의 정확도와 완성도를 낮춤

Smith, Zhou이 제안한 방법은 oblique photography 및 Zhang에 비해 정확도와 완성도가 높음

그러나 Zhang이 제안한 방법에 의해 생성된 경로는 더 높은 품질을 가지며 더 적은 에너지를 소비함

 

5.5 Comparison of Different Planners

oblique photography로 생성된 경로는 단순히 지그재그 패턴을 따르므로 대상 scene이 완전히 커버되고 캡처된 이미지가 잘 계산됨

baseline planner로서, oblique photography은 네 가지 계획자 중 에너지 비용이 가장 낮지만 roughest reconstruction(가장 거친) 재구성을 초래함

재구성 오류는 주로 서로 다른 건물과 다른 물체 사이의 공간에 뛰어들 수 없기 때문에 서로 다른 건물과 다른 물체 사이의 폐색에서 비롯됨

Smith, Zhou가 제안한 방법은 모두 oblique photography보다 훨씬 높은 품질의 재구성을 얻음

일반적으로 Zhou가 제안한 방법은 Smith에 비해 에너지 비용이 적게 듦

Zhang이 제안한 방법의 경우 Smith, Zhou보다 재구성 오차가 높지만 생성된 경로의 연속성으로 인해 배터리 소모량이 감소됨

---

6. Simulator and Applications

3D 인스턴스 분할 데이터셋(S3DIS, ScanNet, SceneNN)이 있지만 모두 실내 scene에서 수집되며 딥 러닝 기반 방법에는 여전히 충분하지 않음

넓은 야외 scene, 특히 복잡한 도시 지역의 경우 기본적으로 3D 건물 인스턴스 분할을 학습하기 위한 적절한 데이터셋이 없음

⇒

UrbanScene3D

3D instance segmentation research를 위한 풍부한 large-scale urban scene building annotation data를 제공

3D 아키텍처를 분할하고 레이블을 붙이기 위해 전체 scene 모델에서 모든 단일 건물 모델을 수동으로 추출함

그런 다음 모든 건물에 고유한 레이블이 할당되어 인스턴스 분할 맵을 형성함

(아래 사진의 왼쪽 위처럼)

UrbanScene3D는 환경별 빌딩 인스턴스 ID(왼쪽 위), 실제 장면 획득을 목표로 하는 4K 항공 비디오(오른쪽 위), Unreal Engine과 AirSim(아래)에 내장된 시뮬레이터를 제공

UrbanScene 3D의 인스턴스 분할 레이블이 있는 3D 텍스처 모델을 통해 사용자는 원하는 모든 종류의 데이터(instance segmentation 맵, 임의 해상도의 깊이 맵, 보이거나 보이지 않는 장소의 3D 포인트 클라우드/메쉬 등)를 얻을 수 있음

3D 재구성을 목표로 하는 일부 특정 실제 scene에서 4K 캡처된 항공 비디오를 제공함

(사진의 오른쪽 위)

→ 고정밀 레이저 스캔과 함께 ground-truth와 함께 다양한 SLAM 알고리즘을 훈련하고 평가하는 데 효과적으로 사용될 수 있음

 

UrbanScene 3D를 사용하여 사용자는 로봇(자동차 또는 드론)을 시뮬레이션하여 제안된 도시 환경에서 다양한 자율 작업을 테스트할 수 있음

중력, 관성, 충돌은 에어심의 물리적 엔진으로 처리할 수 있음

→ 사용자는 많은 작업 (depth estimation(깊이 추정), 자율 탐색 및 새로운 뷰 합성)에 대해 매우 현실적인 데이터를 쉽게 생성할 수 있음

 

각 도시 scene의 조명 상태와 날씨 모두 사용자에 의해 조작될 수 있음

(사진 아래쪽)

 

큰 다양성을 부여받은 이러한 데이터는 시뮬레이션 환경과 실제 환경 사이의 불일치를 감소시켜 제안된 알고리즘의 일반화를 증가시킴

 

---

7. Conclusion and Future Work

rich data annotations와 6개의 대표적인 환경에 대한 다양한 관찰을 제공하는 대규모 데이터 세트인 UrbanScene3D를 제시

해당 재구성 결과와 ground-truth 모델/스캔을 사용하여 경로 계획 및 MVS 알고리즘을 평가할 수 있음

제안된 시뮬레이터를 통해 사용자는 다양한 조명/날씨 조건을 가진 다양한 데이터 패턴에서 도시 장면을 추가로 탐색하고 캡처할 수 있음

UrbanScene 3D의 출시는 커뮤니티에 큰 도움이 될 것

 

앞으로 컴퓨터 비전과 컴퓨터 그래픽 모두에서 추가 연구를 지원하기 위해 데이터 세트에서 3D 구조 지점, 단면 프로파일, 와이어 프레임 또는 평면 세그먼트 등과 같은 높은 수준의 기하학적 설명을 수행할 계획임

UrbanScene3D는 데이터 중심 연구에 더 많은 기여를 할 수 있도록 지속적으로 성장할 것

---

우와 끝~

내가 요즘 갖고싶은.. 탄 키티..