Cómo Vast Data creó la plataforma de datos para deslumbrar a la película Elemental de Pixar

¿Te perdiste la emoción de la Cumbre GamesBeat? ¡No te preocupes! Sintonícese ahora para ver todas las sesiones virtuales y en vivo aquí.

Pixar Animation Studios se asoció con Vast Data, la empresa de plataforma de datos para la era de la IA, para impulsar la producción de animación con uso intensivo de datos de su película, Elemental.

La película llegó a los cines de EE. UU. el 16 de junio y fue reconocida por llevar las imágenes en 3D a nuevas alturas. La película ha recaudado alrededor de 395 millones de dólares en ingresos de taquilla en todo el mundo. Fue la película número 27 de Pixar desde 1995 y, una vez más, implicó la adopción de un nuevo tipo de tecnología.

Pixar, una división de Disney, comenzó a trabajar con Vast en 2018, utilizando la técnica de renderizado volumétrico en su aclamada película Soul de 2020. Para la próxima película, Pixar preguntó si Vast podría manejar tres veces más datos que los que utilizó en Soul.

Sin embargo, a diferencia de las superficies geométricas y los materiales utilizados en proyectos anteriores de Pixar, los métodos de animación volumétrica ampliamente aplicados utilizados en Elemental (la película número 27 de Pixar) resultaron producir seis veces más huella de datos y demandas computacionales que los de Soul.

VB Transform 2023 bajo demanda

¿Te perdiste una sesión de VB Transform 2023? Regístrese para acceder a la biblioteca bajo demanda de todas nuestras sesiones destacadas.

En Soul, cuando el personaje animado muere y sube al mundo del alma, notas que la aparición tiene una especie de brillo. En realidad, todas las partículas de luz son simuladas en 3D, con ese nivel de granularidad, por Pixar, en lugar de simplemente pintar un montón de puntos. No eran modelos tradicionales; más bien eran simulaciones, dijo Eric Bermender, jefe de centro de datos e infraestructura de TI de Pixar Animation Studios.

“Una de las cosas importantes a tener en cuenta es que es la historia y la animación las que dictan nuestro ritmo de innovación aquí en Pixar. Contamos con algunos de los narradores más talentosos del mundo y ellos presentan conceptos en los que nadie jamás había pensado”, dijo Bermender en un video. "Y, por tanto, nuestras necesidades tecnológicas dependerán de lo que exija la historia".

El desafío tenía que ver con el almacenamiento en caché de archivos. Bermender dijo que con personajes mayores como Woody y Buzz Lightyear, había un modelo con texturas y es el mismo modelo en cada toma. Sin embargo, con personajes volumétricos, es un simulador. Cada cuadro de cada personaje es independiente y diferente del anterior. Los modelos tradicionales no iban a funcionar.

"Los animadores apenas comenzaban a hablar sobre un nuevo estilo de producción cinematográfica llamado renderizado volumétrico", dijo Jeff Denworth, cofundador de Vast Data, en una entrevista con VentureBeat. “Lo que el renderizado volumétrico requiere que hagas es, en lugar de simplemente crear una escena, simular los personajes en 3D. Así que es una simulación completa hasta casi el nivel atómico o molecular”.

Puedes ver esto con solo mirar la película, que presenta a los personajes Ember y Wade, quienes están hechos por un lado del fuego y por el otro por el agua.

"Era realmente importante para Pete que Ember estuviera hecha de fuego, y que cuando se moviera, lo hiciera como si fuera fuego y no se adhiriera a una estructura esquelética estricta", dijo el supervisor de efectos visuales Sanjay Bakshi, en un comunicado. “Por ejemplo, cuando alcanza algo, su brazo puede estirarse y estrecharse mucho, como lo hace el fuego. Ember necesitaba poder cambiar realmente de forma y ser amorfa. Si bien nuestros animadores tienen muchas herramientas a su disposición para enojar a un personaje como Ember (desde cambiar su postura, sus cejas y su expresión facial), también queríamos cambiar las características del fuego cuando se enojaba”.

Pixar dijo que para crear a Ember y Wade, además de un telón de fondo complejo, se agregó otra fase de producción para ejecutar simulaciones de los personajes en cada fotograma de la película. Los realizadores ajustaron su proceso para permitir más tiempo después de la animación para abordar los efectos masivos y las complejas necesidades de iluminación.

Pixar dijo que aprovechó los recursos de Disney Research Studios en Zurich, Suiza, para ayudar a transformar ideas en innovaciones tecnológicas. Según Bakshi, esto les permitió organizar las llamas en formas más estilizadas utilizando una técnica de aprendizaje automático llamada Transferencia de estilo neuronal volumétrico. Pixar quería que las llamas alrededor de Ember parecieran reales sin ser hiperrealistas. La compañía dijo que se trataba de reunir a un grupo de expertos (un experto en incendios, un experto en sombras, un experto en animación, un experto en aparejos y un experto en iluminación) en la misma habitación e iterar hasta que fuera correcto.

Al final, Pixar recurrió a una empresa que no era tan conocida: Vast Data. Construyeron un grupo de datos más grande.

Denworth dijo que la compañía se fundó a principios de 2016 con la idea de construir un sistema que con el tiempo se usaría para cargas de trabajo de inteligencia artificial, donde fue diseñado para simplificar mucho la infraestructura a medida que las empresas recorren el camino hacia el futuro de la IA.

Al principio, la empresa se posicionó como fabricante de software para un producto de almacenamiento basado en flash que puede implementarse en el centro de datos o, en el futuro, en la nube.

"Nos encontramos hablando con clientes sobre cargas de trabajo que esencialmente se encontraban en la intersección de niveles muy altos de rendimiento pero también de grandes capacidades de datos", dijo Denworth. “Lo que construimos es una arquitectura de sistemas distribuidos de próxima generación. Creemos que es el primer estilo nuevo de un sistema de base de datos distribuido desde que Google introdujo un concepto llamado Sistema de archivos de Google hace unos 20 años. Y es un sistema que está diseñado para niveles masivos de escala, niveles masivos de procesamiento de datos, cantidades masivas de eficiencia, de modo que usted pueda permitirse el lujo de usar flash para todos sus datos”.

La empresa está valorada ahora en unos 4.000 millones de dólares y cuenta con unas 550 personas. Vast Data es una empresa remota, con sede en Nueva York. También es positivo para el flujo de caja.

"Es una rara combinación de eficiencia y crecimiento que normalmente no se encuentra en ninguna startup", dijo Denworth. "La forma en que lo hemos logrado es tratando con organizaciones que sólo tienen un gran apetito por la infraestructura y, en consecuencia, pueden realizar grandes controles".

Para cumplir con los requisitos técnicos del equipo creativo de Pixar, Pixar recurrió a Vast Data Platform para impulsar el exigente proceso de renderizado necesario para Elemental y producciones futuras.

"Cuando me reuní con los fundadores de Vast por primera vez, me quedé impresionado al comprobar que no sólo tenían las respuestas sobre cómo iban a solucionar todos nuestros problemas, sino que también entendían la ingeniería necesaria para solucionarlos", Bermender dicho. “Ha sido fantástico trabajar con vast durante estos últimos cuatro años. La plataforma Vast nos ha permitido aprovechar nuestro nivel actual de animación para alcanzar niveles futuros de animación en los que nadie había pensado siquiera”.

Al mover hasta 7,3 petabytes de datos a un único clúster de almacén de datos administrado en un espacio de nombres de alto rendimiento organizado desde flash de bajo costo, Vast puede proporcionar acceso en tiempo real. Esto mantiene la granja de renderizado de Pixar constantemente ocupada y al mismo tiempo permite una mejor observabilidad y análisis.

“Tuvimos que idear una nueva solución que nos permitiera tener acceso flash de alta velocidad a nuestros datos y Vast tenía esta gran propuesta que nos permitió obtener el rendimiento y las capacidades que necesitábamos para soportar esta nueva solución volumétrica. oleoducto”, dijo Bermender.

Además, simplificó la colaboración y el desarrollo entre múltiples producciones que se ejecutan al mismo tiempo, al tiempo que sentó las bases para aprovechar la inteligencia artificial y el aprendizaje profundo para películas futuras.

"Pixar es el líder mundial en innovación en animación y, para continuar ofreciendo nuevas historias, entornos visuales impresionantes y personajes memorables, necesitamos las tecnologías más innovadoras de la industria para ayudarnos a hacer realidad la visión de los animadores", dijo el director de Pixar. Bermender, en un comunicado. “'Elemental' es la película técnicamente más compleja que Pixar haya hecho jamás, pero con VAST pudimos ir más allá de nuestro nivel actual de animación y considerar nuevas técnicas que nadie había considerado antes porque no teníamos la tecnología necesaria. lugar para apoyarlo. La tecnología de VAST nos ha permitido cambiar la forma en que almacenamos y accedemos a los datos y, al mismo tiempo, abre la puerta a nuevos canales visuales potenciales”.

Los requisitos informáticos de Elemental exigían un acceso rápido y simultáneo a los datos de cientos de miles de procesadores utilizados en el proceso de renderizado. Vast entregó un rendimiento rápido e ininterrumpido incluso durante el uso máximo de renderizado de la película, requiriendo casi dos petabytes de capacidad a la vez (en comparación con películas anteriores de los últimos cinco años que usaban solo entre 300 y 500 terabytes de capacidad).

Con diferentes producciones en diferentes etapas de renderizado en un momento dado, Pixar dependía de la plataforma de datos de VAST para manejar las demandas volumétricas de varias películas que se desarrollaban al mismo tiempo. Con VAST, estos canales disfrutan del tiempo de actividad necesario para cumplir con los intensos cronogramas de producción cinematográfica y las fechas de estreno de Pixar.

Gracias al acceso paralelo a datos, el alto rendimiento y la escala de Vast Data Platform, Pixar pudo renderizar casi 150.000 fotogramas volumétricos solo en Elemental, cada uno de los cuales contribuye al aspecto único de la película. La asociación con Vast también ha ayudado a Pixar a sentar las bases para futuras generaciones de cinematografía impulsada por IA, utilizando modelos de aprendizaje automático y aprendizaje profundo para procesos de producción automatizados y mejorados.

"En Vast, estamos muy orgullosos de trabajar con Pixar, ya que crean magia cinematográfica atemporal al traspasar simultáneamente los límites de la narración y la tecnología", dijo Denworth. “Para 'Elemental' y películas futuras, ofrecemos una plataforma de datos que impulsa los flujos de trabajo de animación y renderizado para sus proyectos con mayor uso intensivo de datos y computación, al tiempo que habilita su canal de IA y ML para el futuro con el fin de promover las ambiciones. de los artistas de Pixar y las historias que pueden contar”.

Utilizando la plataforma de datos de Vast, los proyectos de Pixar ahora están disponibles para los tipos de procesamiento de datos de alta velocidad necesarios para emplear nuevas técnicas de animación utilizando modelos de aprendizaje automático y aprendizaje profundo para procesos de producción automatizados y mejorados.

“Lo que se necesita es una cantidad significativa de capacidad computacional. Y a medida que aumentan las necesidades informáticas, también aumenta la necesidad de acceder y procesar datos”, dijo Denworth.

Anteriormente, Pixar utilizaba el sistema de Dell para hacer el trabajo cuando se trataba de datos no estructurados. Pero esos sistemas no eran lo suficientemente escalables ni asequibles para satisfacer las necesidades de Pixar.

Hoy en día, los clientes más importantes de Vast Data gastan cientos de millones de dólares en máquinas individuales, y Vast Data está trabajando con múltiples socios en ese nivel.

"La escala es importante, pero eso también requiere que los clientes puedan obtener una visión global de los datos", dijo Denworth.

A medida que la IA se vuelve cada vez más intensiva en computación y se aplica en todas partes, Vast Data ve que sus desafíos son cada vez mayores.

"Eso es lo que estamos construyendo, la idea de que, con el tiempo, las máquinas podrán comprender y hacer sus propios descubrimientos, y es necesario habilitarlas interconectándolas en todo el mundo, dándoles herramientas para catalogar y categorizar los datos y luego abrir el acceso a los datos para que puedan procesar lo que necesiten hacer”, dijo Denworth.

Ya sea que llegue ese día o no, Denworth dijo que el mundo requerirá una gran cantidad de datos.

Puedes apostar que las películas de Pixar se volverán aún más complejas en el futuro.

"El fuego y el agua es lo que se vuelve realmente difícil de renderizar", dijo Denworth. “En lo que respecta a las imágenes, todas las críticas han sido muy positivas. Es una de las películas más impresionantes que jamás haya hecho Pixar”.

JuegosBeat's creed cuando cubrir la industria del juego es "donde la pasión se encuentra con los negocios". ¿Qué quiere decir esto? Queremos contarte lo importantes que son las noticias para ti, no sólo como persona que toma decisiones en un estudio de juegos, sino también como fanático de los juegos. Ya sea que lea nuestros artículos, escuche nuestros podcasts o vea nuestros videos, GamesBeat lo ayudará a aprender sobre la industria y a disfrutar interactuando con ella. Descubra nuestros Briefings.