ByteDance Seed의 DA3는 깊이-광선 표현으로 시점 간 일관된 기하를 추정합니다. 미지의 카메라와 알려진 포즈 모두 지원하며 장면 수집, 공간 분석, 새로운 시점 렌더링에 활용할 수 있습니다.
DA3가 복원하는 정보
단일 이미지는 깊이를 추정하고, 여러 시점은 공통 기하 제약과 카메라 추정을 추가합니다. 영상은 샘플링한 프레임으로 처리합니다.
출력에는 깊이, 신뢰도, 카메라 내부·외부 파라미터가 포함됩니다. 가우시안 헤드가 있는 모델은 새로운 시점 렌더링을 위한 3D 가우시안도 생성합니다.
체크포인트 선택
다중 시점 모델은 Small, Base, Large, Giant입니다. Mono-Large는 상대 깊이, Metric-Large는 실제 크기, Nested는 다중 시점 기하와 미터 단위 스케일을 결합합니다.
Giant, Large, Nested는 갱신된 -1.1 버전을 우선 선택하세요. 가우시안 출력은 Giant와 Nested가 지원하며 모든 모델에 있는 기능은 아닙니다. 긴 영상에는 슬라이딩 윈도 방식의 DA3-Streaming을 사용할 수 있습니다.
이미지와 영상 실행
PyTorch 환경에서 저장소를 설치합니다. 아래 명령은 Nested 1.1로 이미지 폴더를 처리하고 수치 데이터와 GLB 장면을 내보냅니다. 가중치는 첫 실행 시 다운로드됩니다.
영상은 da3 video path/to/video.mp4와 --fps로 처리합니다. 적은 프레임으로 겹침과 신뢰도를 확인한 뒤 범위를 늘리세요. 반복 작업은 da3 backend로 모델 재로딩을 줄일 수 있습니다.
git clone https://github.com/ByteDance-Seed/Depth-Anything-3
cd Depth-Anything-3
pip install -e .
da3 auto path/to/images \
--model-dir depth-anything/DA3NESTED-GIANT-LARGE-1.1 \
--export-format mini_npz-glb \
--export-dir output출력 활용
GLB는 컬러 포인트 클라우드와 선택적 카메라 와이어프레임을 담습니다. 자동으로 깔끔하고 닫힌 물체 메시가 되는 것은 아닙니다. 깊이·신뢰도·카메라 배열을 재사용하려면 NPZ가 적합합니다.
가우시안 PLY와 렌더링 출력은 지원 모델 및 추가 의존성이 필요합니다. 가구를 개별 편집하려면 Lucida처럼 물체별 복원과 배치를 수행하는 방법을 살펴보세요.
DA3, Depth Anything 2, Lucida 비교
| 도구 | 입력 | 적합한 작업 |
|---|---|---|
| Depth Anything 3 | 단일 이미지·다중 시점·영상 | 정렬된 깊이·카메라·기하, 일부 모델은 3D 가우시안 지원 |
| Depth Anything 2 | 단일 이미지 | 단안 깊이 추정 |
| Lucida | 포즈가 있는 실내 관측 | 개별 물체 복원과 정렬 |
자주 묻는 질문
카메라 포즈를 미리 알아야 하나요?
아니요. 다중 시점 모델이 카메라를 추정할 수 있습니다. 보정된 포즈가 있으면 조건으로 제공할 수도 있습니다.
모든 모델이 미터 단위로 출력하나요?
아니요. Nested는 실제 스케일을 출력합니다. Metric-Large는 저장소 안내에 따라 초점 거리로 보정해야 합니다. 상대 깊이 모델은 직접적인 미터 측정값이 아닙니다.
상업적으로 사용할 수 있는 모델은 무엇인가요?
Base, Small, Metric-Large, Mono-Large는 Apache 2.0입니다. Giant, Large, Nested는 CC BY-NC 4.0입니다. 선택한 체크포인트의 라이선스를 확인하세요.