Um dos cientistas de IA mais importantes da Big Tech quer descartar a abordagem atual para construir IA em nível humano. O que precisamos, indicou Yann LeCun, não são grandes modelos de linguagem, mas “modelos de mundo”.
LeCun, cientista chefe de IA de “pesquisa de IA fundamental” na Meta, deve resignar-se da Meta em breve, segundo vários relatos de fontes confiáveis. LeCun, um estadista de 65 anos no mundo da ciência da IA, dispôs de recursos aparentemente ilimitados trabalhando como o grande cérebro da IA em uma das maiores empresas de tecnologia do mundo.
Por que ele está deixando uma empresa que tem investido generosamente, recrutando os especialistas em IA mais qualificados de outras empresas e, de acordo com uma postagem no blog de julho do CEO Mark Zuckerberg, fazendo saltos tão impressionantes internamente que supostamente o desenvolvimento de “superinteligência está agora à vista”?
Na verdade, ele tem ameaçado a resposta há muito tempo. Quando se trata de inteligência de nível humano, LeCun tornou-se notoriamente conhecido ultimamente por dizer que os LLMs, como os entendemos atualmente, são um fracasso—não valem mais a pena ser perseguidos, não importa o quanto a Big Tech os escale. Ele disse em abril do ano passado que “um LLM é basicamente um desvio, uma distração, um beco sem saída.” (O crítico de IA Gary Marcus atacou LeCun por “defender de forma beligerante” os LLMs contra as próprias críticas de Marcus e depois mudar de lado.)
Uma análise do Wall Street Journal sobre a carreira de LeCun publicada na sexta-feira aponta algumas outras possibilidades sobre as razões de sua saída à luz dessa crença. Neste verão, um jovem de 28 anos chamado Alexandr Wang—co-criador da sensação baseada em LLM, ChatGPT—se tornou o chefe de IA na Meta, fazendo com que um fã de LLM em ascensão fosse o chefe de LeCun. E a Meta trouxe outro cientista-chefe relativamente jovem para trabalhar acima de LeCun este ano, Shengjia Zhao. O anúncio da nova função de Zhao pela Meta elogia um “avanço” de escalonamento que ele aparentemente entregou. LeCun diz que perdeu a fé no escalonamento.
Se você está se perguntando como LeCun pode ser um cientista chefe se Zhao também é um cientista chefe, é porque a operação de IA da Meta parece ter um organograma excêntrico, dividido em múltiplos grupos separados. Centenas de pessoas foram demitidas no mês passado, aparentemente em um esforço para esclarecer tudo isso.
O relatório do Financial Times sobre LeCun desta semana sugere que LeCun agora fundará uma startup focada em “modelos de mundo.”
Novamente, LeCun não tem sido tímido sobre por que ele acha que os modelos de mundo têm as respostas que a IA precisa. Ele deu um discurso detalhado sobre isso na Cúpula de Ação de IA em Paris no início de fevereiro, mas foi um pouco ofuscado pelo representante dos EUA, o Vice-presidente J.D. Vance, fazendo um discurso belicoso sobre como todo mundo deveria sair do caminho da América na IA.
Por que Yann LeCun está fascinado por modelos de mundo?
Como explicado em seu discurso—LeCun, que trabalhou nos óculos inteligentes da Meta AI, mas não de forma significativa no Llama LLM da Meta—é um grande crente em wearables.
Incrível como os óculos Meta Ray-Ban podem ajudar os deficientes visuais. https://t.co/w3ZxCFtTlE
— Yann LeCun (@ylecun) 30 de setembro de 2024
Precisamos interagir com os wearables futuros como se fossem pessoas, ele acredita, e os LLMs simplesmente não entendem o mundo como as pessoas. Com os LLMs, ele diz, “não conseguimos reproduzir nem mesmo a inteligência de um gato ou de uma ratazana, quanto mais a inteligência de um cachorro. Eles podem fazer feitos impressionantes. Eles entendem o mundo físico. Qualquer gato doméstico pode planejar ações muitoComplexas. E eles têm modelos causais do mundo.”
LeCun fornece um experimento mental para ilustrar o que ele acha que pode provocar—se você quiser—um modelo de mundo, e é algo que ele acha que qualquer humano pode facilmente fazer que um LLM simplesmente não pode:
“Se eu lhe disser ‘imagine um cubo flutuando no ar na sua frente. Ok, agora gire este cubo em 90 graus ao redor de um eixo vertical. Como ele se parece?’ É muito fácil para você meio que ter esse modelo mental de um cubo girando.”
Com muito pouco esforço, um LLM pode escrever uma limerick sujo sobre um cubo flutuante e giratório, claro, mas não pode realmente ajudá-lo a interagir com um. LeCun afirma que isso se deve a uma diferença entre dados de texto e dados derivados do processamento das muitas partes do mundo que não são texto. Enquanto os LLMs são treinados em uma quantidade de texto que levaria 450.000 anos para ler, LeCun diz que uma criança de quatro anos que esteve acordada por 16.000 horas processou, com seus olhos ou tocando, 1,4 x 10^14 bytes de dados sensoriais sobre o mundo, o que ele diz ser mais do que um LLM.
Essas, a propósito, são apenas as estimativas que LeCun dá em seu discurso, e deve-se notar que ele deu outras. A abstração que os números estão apontando, no entanto, é que os LLMs são limitados de maneiras que LeCun acha que os modelos de mundo não seriam.
Que modelo LeCun deseja construir, e como ele irá construí-lo?
LeCun já começou a trabalhar em modelos de mundo na Meta—incluindo a produção de um vídeo introdutório que implora para você imaginar um cubo giratório.
O modelo dos sonhos de LeCun, conforme descrito em seu discurso na Cúpula de Ação de IA, contém uma “estimativa atual do estado do mundo”, na forma de algum tipo de representação abstrata de, bem, tudo, ou pelo menos tudo que é relevante no contexto atual, e em vez de previsão sequencial e tokenizada, ele “prevê o estado resultante do mundo que ocorrerá após você tomar essa sequência de ações.”
Modelos de mundo permitirão que futuros cientistas da computação construam, ele diz, “sistemas que podem planejar ações—possivelmente de forma hierárquica—para cumprir um objetivo, e sistemas que podem raciocinar.” LeCun também insiste que tais sistemas terão recursos de segurança mais robustos, porque as maneiras como os controlamos serão incorporadas a eles, ao invés de serem caixas-pretas misteriosas que produzem texto e que precisam ser refinadas por ajuste fino.
Naquilo que LeCun descreve como IA clássica—como o software usado em um motor de busca—todos os problemas são redutíveis à otimização. Seu modelo de mundo, ele sugere, olhará para o estado atual do mundo e buscará compatibilidade com algum estado diferente, encontrando soluções eficientes. “Você quer uma função de energia que mede a incompatibilidade, e dado um x, encontre um y que tenha baixa energia para esse x,” diz LeCun em seu discurso.
Novamente, esses são apenas relatos credíveis de informações vazadas sobre os planos de LeCun, e ele sequer confirmou que está fundando algo novo. Se tudo o que podemos juntar das declarações públicas de LeCun soa tentativo e um pouco confuso na fase atual, isso deve. LeCun parece ter uma missão lunar em mente, e ele está pressionando por outra explosão semelhante ao ChatGPT de habilidades estranhas. Pode levar idades—ou literalmente para sempre—para que algo verdadeiramente notável se materialize.
A Gizmodo entrou em contato com a Meta para comentários sobre como o trabalho de LeCun se encaixa na missão de IA da empresa e atualizará se recebermos uma resposta.