Este artigo apareceu originalmente na The Conversation.
Desde o lançamento do ChatGPT no final de 2022, milhões de pessoas começaram a usar modelos de linguagem grandes para acessar conhecimento. E é fácil entender seu apelo: Faça uma pergunta, obtenha uma síntese polida e siga em frente – parece um aprendizado sem esforço.
No entanto, um novo artigo que co-autorei oferece evidências experimentais de que essa facilidade pode ter um custo: Quando as pessoas dependem de modelos de linguagem grandes para resumir informações sobre um tópico para elas, tendem a desenvolver um conhecimento mais superficial sobre isso em comparação com o aprendizado por meio de uma pesquisa padrão no Google.
O co-autor Jin Ho Yun e eu, ambos professores de marketing, relatamos essa descoberta em um artigo baseado em sete estudos com mais de 10.000 participantes. A maioria dos estudos usou o mesmo paradigma básico: os participantes foram convidados a aprender sobre um tópico – como cultivar uma horta – e foram aleatoriamente designados para fazê-lo usando um LLM como o ChatGPT ou da maneira “tradicional”, navegando por links usando uma pesquisa padrão no Google.
Nenhuma restrição foi imposta sobre como usaram as ferramentas; eles podiam pesquisar no Google o quanto quisessem e poderiam continuar a solicitar informações ao ChatGPT se sentissem que precisavam de mais informações. Uma vez que completaram sua pesquisa, foram então convidados a escrever conselhos para um amigo sobre o tópico com base no que aprenderam.
Os dados revelaram um padrão consistente: as pessoas que aprenderam sobre um tópico por meio de um LLM em comparação com a pesquisa na web sentiram que aprenderam menos, investiram menos esforço na redação subsequente de seus conselhos e, em última análise, escreveram conselhos que eram mais curtos, menos factuais e mais genéricos. Por sua vez, quando esses conselhos foram apresentados a uma amostra independente de leitores, que não estavam cientes de qual ferramenta havia sido usada para aprender sobre o tópico, eles acharam os conselhos menos informativos, menos úteis e estavam menos propensos a adotá-los.
Descobrimos que essas diferenças eram robustas em uma variedade de contextos. Por exemplo, uma possível razão pela qual os usuários de LLM escreveram conselhos mais breves e genéricos é simplesmente que os resultados do LLM expuseram os usuários a menos informações ecléticas do que os resultados do Google. Para controlar essa possibilidade, realizamos um experimento em que os participantes foram expostos a um conjunto idêntico de fatos nos resultados de suas pesquisas no Google e no ChatGPT. Da mesma forma, em outro experimento, mantivemos constante a plataforma de pesquisa – Google – e variamos se os participantes aprenderam com os resultados padrão do Google ou com o recurso de Visão Geral de IA do Google.
As descobertas confirmaram que, mesmo mantendo os fatos e a plataforma constantes, aprender com respostas sintetizadas de LLM levou a um conhecimento mais superficial em comparação com a coleta, interpretação e síntese de informações por conta própria por meio de links da web padrão.
Por que isso importa
Por que o uso de LLMs parece diminuir o aprendizado? Um dos princípios mais fundamentais do desenvolvimento de habilidades é que as pessoas aprendem melhor quando estão ativamente envolvidas com o material que estão tentando aprender.
Quando aprendemos sobre um tópico por meio de uma pesquisa no Google, enfrentamos muito mais “fricção”: devemos navegar por diferentes links da web, ler fontes informativas e interpretá-las e sintetizá-las nós mesmos.
Embora mais desafiador, essa fricção leva ao desenvolvimento de uma representação mental mais profunda e original do tópico em questão. Mas com os LLMs, todo esse processo é feito em nome do usuário, transformando o aprendizado de um processo mais ativo para um passivo.
E o que vem a seguir?
Para ser claro, não acreditamos que a solução para esses problemas seja evitar o uso de LLMs, especialmente dadas as inegáveis vantagens que oferecem em muitos contextos. Em vez disso, nossa mensagem é que as pessoas simplesmente precisam se tornar usuários mais inteligentes ou estratégicos de LLMs – o que começa por entender os domínios nos quais os LLMs são benéficos versus prejudiciais para seus objetivos.
Precisa de uma resposta rápida e factual para uma pergunta? Sinta-se à vontade para usar seu co-piloto de IA favorito. Mas se seu objetivo é desenvolver um conhecimento profundo e generalizável em uma área, confiar apenas nas sínteses de LLM será menos útil.
Como parte da minha pesquisa sobre a psicologia de novas tecnologias e novos meios, também estou interessado em saber se é possível tornar o aprendizado com LLM mais ativo. Em outro experimento, testamos isso fazendo com que os participantes interagissem com um modelo GPT especializado que oferecia links da web em tempo real ao lado de suas respostas sintetizadas. No entanto, descobrimos que, uma vez que os participantes receberam um resumo de LLM, não estavam motivados a se aprofundar nas fontes originais. O resultado foi que os participantes ainda desenvolveram um conhecimento mais superficial em comparação com aqueles que usaram o Google padrão.
Com base nisso, em minha pesquisa futura, planejo estudar ferramentas de IA generativa que impõem fricções saudáveis para tarefas de aprendizado – especificamente, examinando quais tipos de guardrails ou obstáculos mais conseguem motivar os usuários a aprender ativamente mais além de respostas fáceis e sintetizadas. Essas ferramentas pareceriam particularmente críticas na educação secundária, onde um grande desafio para os educadores é como melhor equipar os alunos para desenvolver habilidades fundamentais de leitura, escrita e matemática, enquanto também se preparam para um mundo real onde os LLMs provavelmente serão uma parte integral de suas vidas diárias.