Quando Bill Dally ingressou no laboratório de pesquisa da Nvidia em 2009, ele contava com apenas uma dúzia de pessoas e estava focado em ray tracing, uma técnica de renderização usada em gráficos de computador.
Esse laboratório de pesquisa, que antes era pequeno, agora emprega mais de 400 pessoas, que ajudaram a transformar a Nvidia de uma startup de GPU para jogos nos anos 90 em uma empresa de 4 trilhões de dólares que alimenta a explosão da inteligência artificial.
Agora, o laboratório de pesquisa da empresa está focado em desenvolver a tecnologia necessária para impulsionar a robótica e a IA. E parte desse trabalho já está aparecendo em produtos. A empresa revelou na segunda-feira um novo conjunto de modelos de IA do mundo, bibliotecas e outras infraestruturas para desenvolvedores de robótica.
Dally, agora cientista-chefe da Nvidia, começou a consultar a Nvidia em 2003 enquanto trabalhava em Stanford. Quando ele estava pronto para se afastar do cargo de chefe do departamento de ciência da computação de Stanford alguns anos depois, ele planejou tirar uma licença. A Nvidia tinha uma ideia diferente.
David Kirk, que estava à frente do laboratório de pesquisa na época, e o CEO da Nvidia, Jensen Huang, acharam que uma posição mais permanente no laboratório de pesquisa seria uma ideia melhor. Dally contou ao TechCrunch que a dupla fez uma “pressão total” sobre por que ele deveria se juntar ao laboratório de pesquisa da Nvidia e, eventualmente, o convenceu.
“Acabou sendo uma combinação perfeita para meus interesses e talentos”, disse Dally. “Acho que todos estão sempre à procura do lugar na vida onde podem fazer a maior contribuição ao mundo. E eu acho que para mim, definitivamente, é a Nvidia.”
Quando Dally assumiu o laboratório em 2009, a expansão era a prioridade. Os pesquisadores começaram a trabalhar em áreas fora do ray tracing imediatamente, incluindo design de circuitos e VLSI, ou integração de muito grande escala, um processo que combina milhões de transistores em um único chip.
O laboratório de pesquisa não parou de expandir desde então.
“Tentamos descobrir o que fará a diferença mais positiva para a empresa porque estamos constantemente vendo novas áreas empolgantes, mas algumas delas, você sabe, fazem um ótimo trabalho, mas temos dificuldade em dizer se [teremos] sucesso estrondoso nisso”, disse Dally.
Por um tempo, isso significou construir GPUs melhores para inteligência artificial. A Nvidia foi pioneira na futura explosão da IA e começou a experimentar a ideia de GPUs para IA em 2010 — mais de uma década antes da atual frenesi de IA.
“Dissemos que isso é incrível, isso vai mudar completamente o mundo”, disse Dally. “Precisamos começar a nos aprofundar nisso e Jensen acreditou quando eu disse isso. Começamos a especializar nossas GPUs para isso e a desenvolver muito software para apoiá-lo, envolvendo pesquisadores de todo o mundo que estavam fazendo isso, muito antes de ser claramente relevante.”
Foco em IA física
Agora, enquanto a Nvidia detém uma liderança dominante no mercado de GPUs para IA, a empresa começou a procurar novas áreas de demanda além dos centros de dados de IA. Essa busca levou a Nvidia à IA física e à robótica.
“Acho que eventualmente os robôs serão um grande jogador no mundo e queremos, basicamente, ser os cérebros de todos os robôs”, disse Dally. “Para fazer isso, precisamos começar a desenvolver as tecnologias-chave.”
É aí que Sanja Fidler, vice-presidente de pesquisa em IA da Nvidia, entra. Fidler ingressou no laboratório de pesquisa da Nvidia em 2018. Na época, ela já estava trabalhando em modelos de simulação para robôs com uma equipe de alunos do MIT. Quando ela contou a Huang sobre o que estavam trabalhando em uma recepção de pesquisadores, ele se interessou.
“Eu não consegui resistir a me juntar”, disse Fidler ao TechCrunch em uma entrevista. “É apenas um, você sabe, é apenas um grande ajuste de tópico e, ao mesmo tempo, também foi um grande ajuste de cultura. Você sabe, Jensen me disse, venha trabalhar comigo, não conosco, não para nós, você sabe?”
Ela se juntou à Nvidia e começou a trabalhar na criação de um laboratório de pesquisa em Toronto chamado Omniverse, uma plataforma da Nvidia, que foi focada na construção de simulações para IA física.
O primeiro desafio para construir esses mundos simulados foi encontrar os dados 3D necessários, disse Fidler. Isso incluía encontrar o volume adequado de imagens potenciais para usar e construir a tecnologia necessária para transformar essas imagens em representações 3D que os simuladores pudessem usar.
“Investimos nessa tecnologia chamada renderização diferenciável, que essencialmente torna a renderização adequada para IA, certo?” disse Fidler. “Você vai [de] renderização significa de 3D para imagem ou vídeo, certo? E queremos que vá o contrário.”
Modelos de mundo
Omniverse lançou a primeira versão de seu modelo que transforma imagens em modelos 3D, o GANverse3D, em 2021. Então, começou a trabalhar para descobrir o mesmo processo para vídeo. Fidler disse que usaram vídeos de robôs e carros autônomos para criar esses modelos 3D e simulações através de seu Neuric Neural Reconstruction Engine, que a empresa anunciou pela primeira vez em 2022.
Ela acrescentou que essas tecnologias foram a espinha dorsal da família de modelos de IA do Cosmos da empresa que foram anunciados na CES em janeiro.
Agora, o laboratório está focado em tornar esses modelos mais rápidos. Quando você joga um videogame ou simulação, deseja que a tecnologia possa responder em tempo real, disse Fidler, para os robôs eles estão trabalhando para tornar o tempo de reação ainda mais rápido.
“O robô não precisa observar o mundo da mesma maneira que o mundo funciona”, disse Fidler. “Ele pode assisti-lo 100x mais rápido. Portanto, se conseguirmos tornar esse modelo significativamente mais rápido do que é hoje, eles serão extremamente úteis para aplicações de robótica ou IA física.”
A empresa continua a fazer progressos nesse objetivo. A Nvidia anunciou uma frota de novos modelos de IA do mundo projetados para criar dados sintéticos que podem ser usados para treinar robôs na conferência de gráficos computacionais SIGGRAPH na segunda-feira. A Nvidia também anunciou novas bibliotecas e software de infraestrutura voltados para desenvolvedores de robótica também.
Apesar do progresso — e do atual hype sobre robôs, especialmente humanoides — a equipe de pesquisa da Nvidia permanece realista.
Tanto Dally quanto Fidler disseram que a indústria ainda está a alguns anos de ter um humanoide em sua casa, com Fidler comparando isso ao hype e ao cronograma em relação a veículos autônomos.
“Estamos fazendo enormes progressos e acho que você sabe que a IA realmente foi a facilitadora aqui”, disse Dally. “Começando com IA visual para a percepção do robô, e então você sabe, IA generativa, que está sendo extremamente valiosa para planejamento de tarefas e movimento e manipulação. À medida que resolvemos cada um desses pequenos problemas individuais e à medida que a quantidade de dados que temos para treinar nossas redes cresce, esses robôs vão crescer.