SMERF: Campos de Radiância Streamable e Eficientes em Memória
O projeto SMERF da Google mostra campos de radiância neuronais streamable e eficientes em memória, que permitem aos utilizadores percorrer reconstruções 3D altamente realistas de espaços reais num navegador web, mesmo em smartphones mais antigos. Os comentadores impressionam-se com a qualidade, os reflexos e os “mundo-espelho”, ao mesmo tempo que analisam compensações como a resolução espacial em cenas grandes, os payloads grandes e o treino prolongado em várias GPUs. O debate também explora como o SMERF se compara ao 3D Gaussian Splatting e à fotogrametria tradicional, potenciais aplicações em VR e imobiliário, e as perspetivas de open-source para o código de treino e as ferramentas.
Reações gerais e desempenho
- Muitos comentadores acharam as demos web “deslumbrantes” e surpreendentemente suaves, mesmo em smartphones mais antigos e dispositivos de gama média.
- O desempenho no desktop também foi relatado como excelente, com taxas de fotogramas em tempo real em alta qualidade.
- Alguns utilizadores tiveram problemas no Firefox devido a problemas de GPU/ANGLE/Direct3D; os autores observam que o visualizador não foi bem testado ali e recomendam WebKit/Chromium por agora.
Disponibilidade, modelos e ferramentas
- Os modelos pré-treinados já são servidos pela demo; ao executar a página, eles são descarregados.
- O código-fonte do visualizador web está no GitHub sob Apache 2.0; as pessoas são encorajadas a mexer nele (por exemplo, adicionar VR, melhores controlos).
- O código completo de treino ainda não foi lançado devido a dependências de bibliotecas internas; os autores esperam open-source-lo depois de o desatar.
- Pipeline atual de captura: câmara (frequentemente DSLR), structure-from-motion (por exemplo, COLMAP) para poses da câmara, teacher NeRF (Zip-NeRF), depois treino do SMERF, e por fim exportação do asset para o visualizador.
Detalhes técnicos e limitações
- Representação: um campo de radiância neural suportado por uma grelha esparsa de voxels de baixa resolução mais triplanos densos de alta resolução (“nevoeiro brilhante” ray-marched).
- A qualidade em espaços grandes é limitada pela resolução espacial; mais volume requer mais voxels, por isso cenas grandes trocam detalhe por cobertura.
- A qualidade do SMERF também é limitada superiormente pelo teacher Zip-NeRF.
- Superfícies refletoras (espelhos, metal brilhante, TVs) comportam-se como artefactos de “janela para o mundo-espelho”; utilizadores relatam interiores estranhos em espelhos/frigoríficos/TVs.
- As cenas são estáticas; o treino é pesado: cerca de 12–48 horas em setups grandes com várias GPUs por cena.
- O visualizador faz streaming de vários submodelos e troca-os dentro e fora da memória; os payloads de rede são grandes, e a compressão é um problema em aberto.
Comparações com outros métodos
- É intimamente relacionado com NeRF; Gaussian Splatting foi “fortemente inspirado” e usa inputs/outputs semelhantes, mas com uma representação diferente.
- O SMERF alegadamente tem qualidade visivelmente superior ao 3D Gaussian Splatting em cenas grandes e ligeiramente melhor em cenas pequenas, mas demora muito mais tempo a treinar; a velocidade de renderização em GPUs CUDA é comparável.
- Trabalho relacionado em grande escala (por exemplo, NeRFs ao estilo Block) usa muitos modelos regionais para grandes ambientes.
Aplicações, ideias e críticas
- Há forte interesse em VR/AR (incluindo headsets autónomos) e em visitas guiadas a imóveis como uma melhoria significativa face às atuais tours com fotos 360.
- As sugestões incluem controlos de movimento/giroscópio em telemóveis, carregamento progressivo/prioritário e composição de personagens rasterizados de jogos em ambientes SMERF.
- Surge algum ceticismo em torno do tom de marketing e da falta de discussão detalhada das limitações, bem como em torno da necessidade atual de forte otimização e reconstrução por cena.