💡 Abstract

<aside> 💡

VGGT (Visual Geometry Grounded Transforemr)

여러 장의 이미지를 단 한번의 피드포워드 방식으로 처리하여, 3D 장면을 구성하는 거의 모든 핵심 요소를 예측할 수 있는 신경망 모델

Camera Parameter, depth map, 3D point map, 시점 간 포인트 추적 정보까지 포함

</aside>

📍VGGT의 주요 특징

모든 3D 속성 예측 가능

VGGT는 입력 이미지로부터 다양한 3D 정보를 동시에 추론 가능 :
- 카메라의 내/외부 파라미터
- 각 픽셀의 깊이 정보 Depth Map
- 3차원 포인트맵 (Point Map)
- 동일한 장면 내 여러 시점에서의 포인트 추적 정보
피드포워드 방식의 단일 패스 구조

전통적인 SfM이나 MVS 방식처럼 반복 최적화나 후처리를 필요로 하지 않으며, 오직 한 번의 추론만으로 결과를 얻을 수 있음

→ 실제로 1초 이내에 이미지 기반 3D 재구성 가능
- SfM & MVS
시각 기하 정보 최적화 대비 높은 성능

기존 기하 기반 방식들은 복잡한 계산을 통해 정밀한 3D 정보를 얻지만, VGGT는 단순한 구조로도 그보다 더 뛰어난 성능을 보여줌
다양한 3D 작업에서 최첨단 성능 (SOTA)
- SOTA
VGGT는 다음과 같은 다양한 작업에서 높은 성능을 입증
- 카메라 포즈 추정 (Camera Pose Estimation)
- 멀티뷰 기반 깊이 추정 (Multi-View Depth Estimation)
- 고밀도 3D 포인트 클라우드 재구성 (Dense Point Cloud Reconstruction)
- 3D 포인트 추적 (Tracking of 3D Points)
Downstream task 성능 향상

VGGT는 그 자체로도 우수한 성능을 보이지만, 더 중요한 점은 다른 모델의 백본(backbone)으로 사용될 때 downstream task의 성능이 향상된다는 것
- Non-Rigid Point Tracking
  
  형태가 변하는 물체 (예: 움직이는 인체, 휘는 천 등)에서도 동일한 3D 포인트를 정확히 추적 가능
- Feed-Forward Novel View Synthesis
  
  기존 시점의 이미지들로부터 새로운 시점의 이미지를 한 번의 추론만으로 생성 가능

💡 Introduction - 왜 VGGT가 필요한가?

📌 기존 3D 재구성 방식의 한계

기존 3D 장면 재구성 방식

기하 기반 (Visual Geometry) 접근법을 따름
방법
- 이미지 사이의 특징점 매칭 → Bundle Adjustment(BA) 같은 반복적 최적화 기법 사용 → 카메라 위치와 장면의 3D 구조 복원
  - Bundle Adjustment (BA)
단점
- 큰 계산 비용
- 복잡한 파이프라인
- 후처리에 크게 의존