O DA3, desenvolvido pela ByteDance Seed, estima geometria consistente entre vistas com uma representação de profundidade e raios. Aceita câmeras desconhecidas ou poses fornecidas para captura de cenas e renderização de novos ângulos.
O que o DA3 reconstrói
Uma imagem permite estimar profundidade; várias vistas acrescentam restrições compartilhadas e estimativa de câmeras. Vídeos são processados como quadros amostrados.
As saídas incluem profundidade, confiança, parâmetros intrínsecos e extrínsecos. Modelos com cabeça gaussiana também produzem Gaussianos 3D para novos pontos de vista.
Escolha do checkpoint
A família multivista inclui Small, Base, Large e Giant. Mono-Large estima profundidade relativa; Metric-Large visa escala real; Nested combina geometria multivista e escala métrica.
Prefira as versões -1.1 de Giant, Large e Nested. Giant e Nested têm saída gaussiana, mas nem todo DA3 tem. DA3-Streaming usa janelas deslizantes para sequências longas.
Executar imagens ou vídeos
Instale o repositório em um ambiente PyTorch. O comando usa Nested 1.1 para processar uma pasta e exportar dados numéricos e uma cena GLB. Os pesos são baixados no primeiro uso.
Para vídeo, use da3 video path/to/video.mp4 e --fps. Comece com poucos quadros, confira sobreposição e confiança e aumente a cobertura. da3 backend mantém o modelo carregado para trabalhos repetidos.
git clone https://github.com/ByteDance-Seed/Depth-Anything-3
cd Depth-Anything-3
pip install -e .
da3 auto path/to/images \
--model-dir depth-anything/DA3NESTED-GIANT-LARGE-1.1 \
--export-format mini_npz-glb \
--export-dir outputUsar os resultados
GLB contém uma nuvem de pontos colorida e câmeras opcionais, não automaticamente uma malha de objeto limpa e fechada. NPZ permite reutilizar matrizes de profundidade, confiança e câmeras.
PLY gaussiano e vistas renderizadas exigem pesos compatíveis e dependências adicionais. Para interiores com objetos editáveis separadamente, Lucida reconstrói e posiciona cada objeto.
DA3, Depth Anything 2 ou Lucida?
| Ferramenta | Entrada | Aplicação |
|---|---|---|
| Depth Anything 3 | Imagem, várias vistas ou vídeo | Profundidade, câmeras e geometria alinhadas; Gaussianos conforme o modelo |
| Depth Anything 2 | Uma imagem | Estimativa monocular de profundidade |
| Lucida | Observações internas com poses | Reconstrução e alinhamento de objetos separados |
Perguntas frequentes
Precisa de poses de câmera conhecidas?
Não. Os modelos multivista estimam as câmeras. Poses calibradas também podem ser fornecidas para condicionar a reconstrução.
Todos os modelos geram profundidade em metros?
Não. Nested fornece escala métrica. Metric-Large exige o ajuste pela distância focal descrito no repositório; os modelos relativos não fornecem medidas diretas em metros.
Quais modelos permitem uso comercial?
Base, Small, Metric-Large e Mono-Large usam Apache 2.0. Giant, Large e Nested usam CC BY-NC 4.0. Confira a licença do checkpoint escolhido.