Para as empresas, descobrir o prompt certo para obter o melhor resultado de um modelo de IA generativa nem sempre é uma tarefa fácil. Em algumas organizações, isso caiu na nova posição de engenheiro de prompts, mas não foi bem isso que aconteceu no LinkedIn.
A plataforma de networking profissional é propriedade da Microsoft e atualmente possui mais de 1 bilhão de contas de usuários. Embora o LinkedIn seja uma grande organização, enfrentou o mesmo desafio básico que organizações de quase qualquer tamanho enfrentam com a IA generativa — preencher a lacuna entre usuários de negócios técnicos e não técnicos. Para o LinkedIn, o caso de uso da IA generativa é voltado tanto para usuários finais quanto para usuários internos.
Enquanto algumas organizações podem optar por compartilhar prompts apenas com planilhas ou até mesmo em canais de mensagens como o Slack, o LinkedIn adotou uma abordagem um tanto nova. A empresa construiu o que chama de “playground colaborativo de engenharia de prompts” que permite que usuários técnicos e não técnicos trabalhem juntos. O sistema utiliza uma combinação realmente interessante de tecnologias, incluindo grandes modelos de linguagem (LLMs), LangChain e Jupyter Notebooks.
O LinkedIn já usou essa abordagem para ajudar a melhorar seu produto Sales Navigator com recursos de IA, especificamente focando no AccountIQ — uma ferramenta que reduz o tempo de pesquisa de empresas de 2 horas para 5 minutos.
Assim como qualquer outra organização no planeta, a jornada inicial de IA generativa do LinkedIn começou tentando descobrir o que funciona.
“Quando começamos a trabalhar em projetos usando IA generativa, os gerentes de produto sempre tinham muitas ideias, como ‘Ei, por que não podemos tentar isso? Por que não podemos tentar aquilo?'”, disse Ajay Prakash, engenheiro de software da LinkedIn, ao VentureBeat. “A ideia era possibilitar que eles fizessem a engenharia de prompts e experimentassem diferentes coisas, e não deixar que os engenheiros fossem o gargalo para tudo.”
O desafio organizacional de implantar IA generativa em uma empresa técnica
Para ter certeza, o LinkedIn não é estranho ao mundo do aprendizado de máquina (ML) e IA.
Antes que o ChatGPT surgisse, o LinkedIn já havia construído um kit de ferramentas para medir a equidade dos modelos de IA. Na VB Transform em 2022, a empresa delineou sua estratégia de IA (naquela época). No entanto, a IA generativa é um pouco diferente. Ela não requer especificamente engenheiros para ser utilizada e é mais amplamente acessível. Essa é a revolução que o ChatGPT provocou. Construir aplicativos baseados em IA generativa não é exatamente o mesmo que construir um aplicativo tradicional.
Prakash explicou que antes da IA generativa, os engenheiros geralmente recebiam um conjunto de requisitos de produto da equipe de gerenciamento de produto. Eles então saíam e construíam o produto.
Com a IA generativa, por outro lado, os gerentes de produto estão experimentando diferentes coisas para ver o que é possível e o que funciona. Ao contrário do ML tradicional que não era acessível para funcionários não técnicos, a IA generativa é mais fácil para todos os tipos de usuários.
A engenharia de prompts tradicional muitas vezes cria gargalos, com engenheiros servindo como guardiões para quaisquer mudanças ou experimentos. A abordagem do LinkedIn transforma essa dinâmica ao fornecer uma interface amigável por meio de Jupyter Notebooks personalizados, que tradicionalmente têm sido usados para tarefas de ciência de dados e ML.
O que há dentro do playground de engenharia de prompts do LinkedIn
Não deve ser surpresa que o fornecedor de LLM padrão utilizado pelo LinkedIn seja a OpenAI. Afinal, o LinkedIn faz parte da Microsoft, que hospeda a plataforma Azure OpenAI.
Lukasz Karolewski, gerente sênior de engenharia do LinkedIn, explicou que era apenas mais conveniente usar a OpenAI, já que sua equipe tinha acesso mais fácil dentro do ambiente LinkedIn/Microsoft. Ele observou que usar outros modelos exigiria processos adicionais de revisão de segurança e legal, que levariam mais tempo para torná-los disponíveis. A equipe inicialmente priorizou validar o produto e a ideia em vez de otimizar para o melhor modelo.
O LLM é apenas uma parte do sistema, que também inclui:
– Jupyter Notebooks para a camada de interface;
– LangChain para orquestração de prompts;
– Trino para consultas de lago de dados durante os testes;
– Implantação baseada em contêiner para fácil acesso;
– Elementos de UI personalizados para usuários não técnicos.
Como funciona o playground colaborativo de engenharia de prompts do LinkedIn
Os Jupyter Notebooks têm sido amplamente utilizados na comunidade de ML há quase uma década como uma forma de ajudar a definir modelos e dados usando uma interface interativa em Python.
Karolewski explicou que o LinkedIn pré-programou Jupyter Notebooks para torná-los mais acessíveis para usuários não técnicos. Os notebooks incluem elementos de UI como caixas de texto e botões que facilitam para qualquer tipo de usuário começar. Os notebooks são empacotados de uma forma que permite que os usuários lancem facilmente o ambiente com instruções mínimas, e sem ter que configurar um ambiente de desenvolvimento complexo. O principal objetivo é permitir que tanto usuários técnicos quanto não técnicos experimentem diferentes prompts e ideias para usar a IA generativa.
Para que isso funcione, a equipe também integrou o acesso a dados do lago de dados interno do LinkedIn. Isso permite que os usuários tragam dados de forma segura para usar em prompts e experimentos.
O LangChain serve como a biblioteca para orquestrar aplicativos de IA generativa. O framework ajuda a equipe a encadear facilmente diferentes prompts e etapas, como buscar dados de fontes externas, filtrar e sintetizar a saída final.
Embora o LinkedIn não esteja atualmente focado em construir aplicativos totalmente autônomos baseados em agentes, Karolewski disse que vê o LangChain como uma base para potencialmente avançar nessa direção no futuro.
A abordagem do LinkedIn também inclui mecanismos de avaliação em várias camadas:
– Verificação de relevância baseada em embeddings para validação de saída;
– Detecção automatizada de danos por meio de avaliadores pré-construídos;
– Avaliação baseada em LLM usando modelos maiores para avaliar modelos menores;
– Processos de revisão de especialistas humanos integrados.
Dois horas para cinco minutos: impacto real para o playground de engenharia de prompts
A eficácia dessa abordagem é demonstrada através do recurso AccountIQ do LinkedIn, que reduziu o tempo de pesquisa de empresas de duas horas para cinco minutos.
Essa melhoria não se tratou apenas de processamento mais rápido — representou uma mudança fundamental em como os recursos de IA poderiam ser desenvolvidos e refinados com a contribuição direta de especialistas em domínio.
“Não somos especialistas em vendas”, disse Karolewski. “Essa plataforma permite que especialistas em vendas validem e refinem diretamente os recursos de IA, criando um ciclo de feedback estreito que não era possível antes.”
Embora o LinkedIn não esteja planejando abrir o código-fonte de seu playground de engenharia de prompts de IA generativa devido à sua profunda integração com sistemas internos, a abordagem oferece lições para outras empresas que buscam escalar o desenvolvimento de IA. Embora a implementação completa possa não estar disponível, os mesmos blocos de construção básicos — nomeadamente um LLM, LangChain e Jupyter Notebooks — estão disponíveis para outras organizações construírem uma abordagem semelhante.
Tanto Karolewski quanto Prakash enfatizaram que com a IA generativa, é fundamental focar na acessibilidade. Também é importante permitir a colaboração interfuncional desde o início.
“Recebemos muitas ideias da comunidade e aprendemos muito com a comunidade”, disse Lukasz. “Estamos principalmente curiosos sobre o que outras pessoas pensam e como estão trazendo a experiência de especialistas em assunto para as equipes de engenharia.”