Gráficos de IA: Nvidia genera escenas 3D a partir de fotos en segundos

| |

Nvidia muestra Instant NeRF: la tecnología de IA genera una escena 3D de alta resolución en segundos en función de unas pocas fotos.

Los campos de radiación neuronal (NeRF) son redes neuronales que pueden aprender una escena 3D a partir de imágenes 2D y luego reproducirlas. La tecnología crea escenas fotorrealistas y es un componente central para el uso de IA en gráficos por computadora y fotografía. Google mostró recientemente una especie de Street View 3D que representa bloques enteros de calles con NeRF.

Un obstáculo para usar NeRF ha sido el largo tiempo de entrenamiento y renderizado de las redes neuronales. En los últimos años, sin embargo, los investigadores han encontrado nuevas formas de reducir el tiempo requerido. Los investigadores de Google mostraron una representación en tiempo real de NeRF alrededor de 2021. A principios de 2022, Nvidia presentó Instant-NGP, un método que acelera enormemente el entrenamiento de IA.

Publicación Destacada

La mayor velocidad de renderizado allana el camino para que los NeRF se utilicen en la práctica

Como parte del GTC de este año, Nvidia ahora presenta Instant NeRF. La tecnología lo hace posible Entrene y renderice una escena 3D de alta resolución en segundos. En comparación con otros métodos NeRF, Instant NeRF es hasta 1000 veces más rápido en algunos casos, según Nvidia.

La mayor velocidad es posible gracias al uso de una combinación de la red neuronal con una tabla hash aprendida de puntos de esquina de vóxel presentados en Instant NGP de Nvidia.

El modelo de IA requiere para el entrenamiento solo unas pocas docenas de fotos desde diferentes ángulos, incluyendo información sobre los ángulos de la cámara, y luego aprende una representación 3D de la escena en unos pocos segundos. Renderizar la escena en sí toma solo unos pocos milisegundos más.

Los NeRF son la compresión JPEG para 3D

«Si las representaciones 3D tradicionales, como las mallas, son como imágenes vectoriales, los NeRF son como imágenes de mapa de bits: capturan cómo se irradia la luz desde un objeto o dentro de una escena», dijo David Luebke, vicepresidente de investigación de gráficos de NVIDIA.

Publicación Destacada

“En ese sentido, ¿podría Instant NeRF será tan importante para 3D como lo es para cámaras digitales y la compresión JPEG para fotografía 2D fueron: un tremendo aumento en la velocidad, la facilidad y el alcance de capturar y compartir 3D”.

Según Nvidia, Instant NeRF podría usarse para avatares o escenas en mundos virtuales, para capturar participantes de videoconferencias y su entorno en 3D, o para reconstruir escenas para mapas digitales en 3D. Este último podría usarse para entrenar robots y automóviles autónomos.

Nvidia ve más aplicaciones en la arquitectura y en la industria del entretenimiento, donde los NeRF podrían usarse para crear representaciones digitales de entornos reales que luego los desarrolladores adaptan y expanden.

Lina
Lina García ha escrito sobre tecnología y marketing, cubriendo todo, desde la analítica hasta la realidad virtual, desde 2010. Antes de eso, obtuvo un doctorado en inglés, enseñó a escribir a nivel universitario y lanzó y publicó una revista en formato impreso y digital. Ahora es escritora, editora y consultora de marketing a tiempo completo.