O cofundador da OpenAI e ex-cientista-chefe, Ilya Sutskever, fez manchetes no início deste ano depois de deixar a empresa para iniciar seu próprio laboratório de IA chamado Safe Superintelligence Inc. Ele evitou os holofotes desde sua saída, mas fez uma rara aparição pública em Vancouver na sexta-feira durante a Conferência sobre Sistemas de Processamento de Informação Neural (NeurIPS).
“O pré-treinamento como o conhecemos, sem dúvida, chegará ao fim”, disse Sutskever no palco. Isso se refere à primeira fase do desenvolvimento do modelo de IA, quando um grande modelo de linguagem aprende padrões a partir de vastas quantidades de dados não rotulados — tipicamente textos da internet, livros e outras fontes.
“Alcançamos o pico de dados e não haverá mais.”
Durante sua palestra no NeurIPS, Sutskever afirmou que, embora acredite que os dados existentes ainda podem levar o desenvolvimento da IA mais longe, a indústria está esgotando novas fontes de dados para treinar. Essa dinâmica, disse ele, eventualmente forçará uma mudança na forma como os modelos são treinados hoje. Ele comparou a situação a combustíveis fósseis: assim como o petróleo é um recurso finito, a internet contém uma quantidade finita de conteúdo gerado por humanos.
“Alcançamos o pico de dados e não haverá mais”, segundo Sutskever. “Precisamos lidar com os dados que temos. Só existe uma internet.”
Ilya Sutskever chama os dados de “combustível fóssil” da IA.
Ilya Sutskever/NeurIPS
Modelos de próxima geração, ele previu, serão “agentes de maneiras reais”. Agentes se tornaram uma verdadeira palavra da moda no campo da IA. Embora Sutskever não os tenha definido durante sua palestra, eles são comumente entendidos como um sistema de IA autônomo que realiza tarefas, toma decisões e interage com software por conta própria.
Além de serem “agentes”, ele disse que os sistemas futuros também serão capazes de raciocinar. Ao contrário da IA atual, que principalmente combina padrões com base no que um modelo já viu, os futuros sistemas de IA serão capazes de resolver problemas passo a passo de maneira mais comparável ao pensamento.
Quanto mais um sistema raciocina, “mais imprevisível se torna”, segundo Sutskever. Ele comparou a imprevisibilidade de “sistemas que realmente raciocinam” a como AIs avançadas que jogam xadrez “são imprevisíveis para os melhores jogadores de xadrez humanos”.
“Eles entenderão as coisas a partir de dados limitados”, disse ele. “Eles não ficarão confusos.”
No palco, ele traçou um paralelo entre a escalabilidade dos sistemas de IA e a biologia evolutiva, citando pesquisas que mostram a relação entre massa cerebral e corporal em diferentes espécies. Ele observou que, enquanto a maioria dos mamíferos segue um padrão de escalonamento, os hominídeos (ancestrais humanos) mostram uma inclinação distintamente diferente em sua relação entre massa cerebral e corporal em escalas logarítmicas.
Ele sugeriu que, assim como a evolução encontrou um novo padrão de escalonamento para os cérebros hominídeos, a IA pode descobrir abordagens novas para escalonamento além do que o pré-treinamento funciona hoje.
Ilya Sutskever compara a escalabilidade dos sistemas de IA e biologia evolutiva.
Ilya Sutskever/NeurIPS
Após Sutskever concluir sua palestra, um membro da audiência perguntou a ele como os pesquisadores podem criar os mecanismos de incentivo certos para a humanidade desenvolver IA de uma maneira que lhe dê “as liberdades que temos como homo sapiens”.
“Sinto que, de certa forma, essas são as questões que as pessoas deveriam refletir mais”, respondeu Sutskever. Ele hesitou um momento antes de dizer que não se sente “confiante para responder a perguntas como essa” porque exigiria uma “estrutura governamental de cima para baixo”. O membro da audiência sugeriu criptomoeda, o que fez outros na sala rirem.
“Não sinto que sou a pessoa certa para comentar sobre criptomoeda, mas há uma chance de que o que você [está] descrevendo aconteça”, disse Sutskever. “Sabe, de certa forma, não é um resultado ruim se você tiver AIs e tudo o que eles querem é coexistir conosco e também ter direitos. Talvez isso seja bom… Acho que as coisas são incrivelmente imprevisíveis. Eu hesito em comentar, mas encorajo a especulação.