Desarrollo
Theta EdgeCloud: redefiniendo el renderizado 3D para aplicaciones GenAI
La renderización 3D es una industria enorme, que superará los 3.000 millones de dólares en 2022 y se prevé que crecerá un 20% anual hasta más de 35.000 millones de dólares en 2032, según Global Market Insights. El crecimiento del mercado está impulsado por profesionales del marketing de múltiples industrias que buscan demostrar las características del producto en un entorno 3D simulado. NVIDIA lanzó una plataforma que aborda esta necesidad en enero de 2023 y ofrece nuevas formas de visualizar y simular descubrimientos y diseños industriales en espacios 3D. Más interesante aún, las aplicaciones de IA generativa de texto a 3D y de bocetos a 3D de próxima generación impulsarán aún más la necesidad de capacidades de renderizado 3D y requerirán más recursos de GPU que nunca.
Estas dos categorías emergentes de IA generativa utilizan tecnologías de aprendizaje profundo, como modelos de difusión, campos de radiación neuronal (NeRF) y salpicaduras gaussianas, para generar objetos y escenas 3D basados ??en entradas de texto o bocetos dibujados a mano. El modelo de IA requiere múltiples ciclos de renderizado 3D en el proceso de generación, refinamiento y optimización a medida que crea y ensambla las mallas texturizadas 3D de formas y texturas geométricas y mejora su realismo, precisión y detalle. NVIDIA presentó recientemente un trabajo de investigación en la conferencia IEEE sobre visión por computadora y reconocimiento de patrones que captura estos conceptos.
Sólo es posible en Theta EdgeCloud
La arquitectura híbrida Theta EdgeCloud, cuando se lance por completo este año, puede soportar de manera única estas tareas de renderizado 3D de una manera que no es posible hoy en día al aprovechar la potencia de la GPU de alta gama de los nodos alojados en la nube, así como los nodos de borde distribuidos globalmente de Theta. Como se describe en el documento técnico , EdgeCloud implementará tecnologías innovadoras de programación y asignación de tareas informáticas para asignar y enrutar de forma inteligente tareas informáticas en tiempo real al nodo del clúster más óptimo. En particular, el algoritmo de asignación de tareas intenta maximizar la puntuación de eficiencia de ese trabajo bajo demanda en particular, por pequeño o grande que sea:
puntuación_eficiencia = f(tipo_trabajo, precio, latencia, disponibilidad, capacidad informática, equidad, privacidad)
La tecnología descrita en el artículo de investigación de NVIDIA anterior se puede utilizar para ilustrar potencialmente cómo las tareas de renderizado generativo de texto a 3D se pueden ejecutar de manera eficiente en Theta EdgeCloud. La técnica de conversión de texto a 3D propuesta se puede dividir esencialmente en dos etapas:
El algoritmo de asignación y programación de tareas de EdgeCloud trata las dos etapas como tareas diferentes y utiliza la ecuación anterior para calcular la puntuación de eficiencia al asignar estas tareas a diferentes nodos en EdgeCloud. En función de las puntuaciones calculadas, el algoritmo determina las asignaciones óptimas de las tareas para optimizar tanto la eficiencia como el coste general.
Respaldado por la experiencia del equipo y las patentes
El equipo de Theta tiene una amplia trayectoria en renderizado 3D en la industria del juego. Ya en septiembre de 2016, Theta Labs (anteriormente SLIVER.tv) fue pionero en la primera transmisión en vivo en realidad virtual 360 de un importante torneo de deportes electrónicos en ESL One en asociación con NVIDIA , en vivo con 10,000 espectadores en el Barclays Center de Nueva York. Al ejecutarse en un grupo de GPU NVIDIA GTX 1080, las más rápidas en ese momento, el equipo pudo aprovechar el motor de juego Counterstrike 3D para representar el mundo del juego en 360 VR en tiempo real , con resolución de 4K por ojo y transmisión en vivo. ante más de 50.000 espectadores en todo el mundo. Esto fue realmente innovador.
Gran parte de la tecnología necesaria para el renderizado 360 VR en tiempo real simplemente no existía en ese momento. Entonces, Mitch, Jieyi y el equipo de Theta tuvieron que inventarlos. Estas innovaciones llevaron a Theta Labs a recibir 4 patentes estadounidenses para renderizado 360 y tecnologías relacionadas:
Juntas, estas patentes describen cómo Theta pudo renderizar múltiples transmisiones de video 2D en el juego desde un punto de vista central, que luego se unen digitalmente para crear un video esférico 360 que luego puede ser controlado por el usuario. La parte de la esfera que actualmente está a la vista del espectador se representa en alta resolución, mientras que las áreas fuera de la vista actual se representan en una resolución más baja, optimizando las limitaciones de ancho de banda. A medida que el usuario mueve el campo de visión, las diferentes imágenes se renderizan en alta resolución en tiempo real.
Theta Edge Nodes para iniciar tareas de prueba de renderizado 3D
Un avance rápido hasta el día de hoy, el equipo de Theta está aprovechando su experiencia en renderizado 3D 360 y avanzando hacia el lanzamiento de EdgeCloud el 1 de mayo con un enfoque en trabajos de computación de IA. En las próximas semanas, los nodos de borde Theta se actualizarán para admitir trabajos de prueba de renderizado 3D, que serán recompensados ??en TFUEL y en preparación para la integración en la plataforma EdgeCloud. En lanzamientos posteriores de este año, EdgeCloud permitirá aplicaciones de IA y renderizado 3D completo que utilizan canales 3D, por ejemplo, para procesar efectos visuales 3D complejos para películas y animaciones, con la escalabilidad y confiabilidad requeridas por las empresas de medios más grandes.
Últimas publicaciones
Discord Theta Network