A resposta para ‘Quais necessidades dos clientes requerem uma solução de IA?’ nem sempre é ‘Sim.’ Os LLMs ainda são caros e nem sempre precisos.
A resposta para a pergunta “Quais necessidades dos clientes requerem uma solução de IA?” ainda não é sempre “sim.” Modelos de linguagem de grande escala (LLMs) podem ser proibitivamente caros para alguns, e como todos os modelos de ML, os LLMs nem sempre são precisos. Sempre haverá casos em que a implementação de ML não é o caminho certo a seguir. Como nós, como gerentes de projetos de IA, avaliamos as necessidades de nossos clientes para a implementação de IA?
As principais considerações para ajudar a tomar essa decisão incluem:
Os inputs e outputs necessários para atender às necessidades do seu cliente: Um input é fornecido pelo cliente ao seu produto e o output é fornecido pelo seu produto. Portanto, para uma playlist gerada por ML do Spotify (um output), os inputs podem incluir preferências do cliente, músicas e artistas ‘curtidos’ e gênero musical.
Combinações de inputs e outputs: As necessidades dos clientes podem variar dependendo se eles querem o mesmo ou diferentes outputs para o mesmo ou diferentes inputs. Quanto mais permutações e combinações precisamos replicar para inputs e outputs, em escala, mais precisamos recorrer ao ML em vez de sistemas baseados em regras.
Padrões em inputs e outputs: Padrões nas combinações necessárias de inputs ou outputs ajudam você a decidir que tipo de modelo de ML precisa usar para a implementação. Se houver padrões nas combinações de inputs e outputs (como revisar anedotas de clientes para derivar uma pontuação de sentimento), considere modelos de ML supervisionados ou semi-supervisionados em vez de LLMs, pois podem ser mais econômicos.
Custo e Precisão: Chamadas de LLM nem sempre são baratas em escala e os outputs nem sempre são precisos/exatos, apesar do ajuste fino e da engenharia de prompts. Às vezes, é melhor usar modelos supervisionados para redes neurais que podem classificar um input usando um conjunto fixo de rótulos, ou até mesmo sistemas baseados em regras, em vez de usar um LLM.
Eu compilei uma tabela rápida abaixo, resumindo as considerações acima, para ajudar os gerentes de projeto a avaliar as necessidades de seus clientes e determinar se uma implementação de ML parece ser o caminho certo a seguir.
Tipo de necessidade do cliente
Exemplo
Implementação de ML (Sim/Não/Depende)
Tipo de Implementação de ML
Tarefas repetitivas onde um cliente precisa do mesmo output para o mesmo input
Adicionar meu e-mail em vários formulários online
Não
Criar um sistema baseado em regras é mais do que suficiente para ajudá-lo com seus outputs
Tarefas repetitivas onde um cliente precisa de diferentes outputs para o mesmo input
O cliente está em “modo de descoberta” e espera uma nova experiência ao realizar a mesma ação (como fazer login em uma conta):
— Gerar uma nova arte por clique
— StumbleUpon (lembra disso?) descobrindo um novo canto da internet através de busca aleatória
Sim
– LLMs de geração de imagem
– Algoritmos de recomendação (filtragem colaborativa)
Tarefas repetitivas onde um cliente precisa do mesmo/similar output para diferentes inputs
– Avaliação de ensaios
– Geração de temas a partir de feedback de clientes
Depende
Se o número de combinações de input e output for simples o suficiente, um sistema determinístico baseado em regras ainda pode funcionar para você.
No entanto, se você começar a ter múltiplas combinações de inputs e outputs porque um sistema baseado em regras não pode escalar efetivamente, considere se apoiar em:
– Classificadores
– Modelagem de tópicos
Mas apenas se houver padrões nesses inputs.
Se não houver padrões, considere aproveitar os LLMs, mas apenas para cenários únicos (já que os LLMs não são tão precisos quanto os modelos supervisionados).
Tarefas repetitivas onde um cliente precisa de diferentes outputs para diferentes inputs
– Respondendo perguntas de suporte ao cliente
– Busca
Sim
É raro encontrar exemplos onde você pode fornecer diferentes outputs para diferentes inputs em escala sem ML.
Existem apenas muitas permutações para uma implementação baseada em regras escalar efetivamente. Considere:
– LLMs com geração aumentada por recuperação (RAG)
– Árvores de decisão para produtos como busca
Tarefas não repetitivas com diferentes outputs
Revisão de um hotel/restaurante
Sim
Antes dos LLMs, esse tipo de cenário era complicado de realizar sem modelos treinados para tarefas específicas, como:
– Redes neurais recorrentes (RNNs)
– Redes de memória de longo e curto prazo (LSTMs) para prever a próxima palavra
Os LLMs são uma ótima opção para esse tipo de cenário.
A conclusão: Não use um sabre de luz quando uma simples tesoura poderia fazer o truque. Avalie a necessidade do seu cliente usando a matriz acima, levando em conta os custos de implementação e a precisão do output, para construir produtos precisos e econômicos em escala.