Enquanto a maioria dos legisladores de países ainda discute como estabelecer limites para a inteligência artificial, a União Europeia está à frente, tendo aprovado um framework baseado em riscos para regular aplicativos de IA no início deste ano.
A lei entrou em vigor em agosto, embora os detalhes completos do regime de governança de IA da UE ainda estejam sendo elaborados — Códigos de Prática estão sendo desenvolvidos, por exemplo — mas ao longo dos próximos meses e anos, as disposições em camadas da lei começarão a se aplicar aos criadores de aplicativos e modelos de IA, então a contagem regressiva para a conformidade já está em andamento.
Avaliar se e como os modelos de IA estão atendendo às suas obrigações legais é o próximo desafio. Modelos de linguagem de grande porte (LLM) e outras chamadas IAs de fundação ou de propósito geral, sustentarão a maioria dos aplicativos de IA, portanto, focar os esforços de avaliação nesse nível da pilha de IA parece importante.
Avança a LatticeFlow AI, uma spin-off do ETH Zurich, que se concentra na gestão de riscos e conformidade em IA.
Na quarta-feira, publicou o que está promovendo como a primeira interpretação técnica da Lei de IA da UE, significando que buscou mapear requisitos regulatórios para técnicos, juntamente com um framework de validação de LLM de código aberto que se baseia nesse trabalho — que está chamando de Compl-AI (‘compl-ai’… veja o que eles fizeram!).
A iniciativa de avaliação de modelos de IA — que eles também chamam de “a primeira suíte de benchmarking de LLM orientada para a regulamentação” — é o resultado de uma colaboração de longo prazo entre o Instituto Federal Suíço de Tecnologia e o Instituto de Ciência da Computação, Inteligência Artificial e Tecnologia da Bulgária (INSAIT), segundo a LatticeFlow.
Os criadores de modelos de IA podem usar o site Compl-AI para solicitar uma avaliação da conformidade de sua tecnologia com os requisitos da Lei de IA da UE.
A LatticeFlow também publicou avaliações de modelos de vários LLMs mainstream, como diferentes versões/tamanhos dos modelos Llama da Meta e do GPT da OpenAI, juntamente com um ranking de conformidade com a Lei de IA da UE para as grandes IAs.
Este ranking classifica o desempenho de modelos de empresas como Anthropic, Google, OpenAI, Meta e Mistral em relação aos requisitos da lei — em uma escala de 0 (ou seja, nenhuma conformidade) a 1 (conformidade total).
Outras avaliações são marcadas como N/A (ou seja, não disponível, onde há falta de dados, ou não aplicável se o criador do modelo não disponibiliza a capacidade). (NB: No momento da redação, também havia algumas pontuações negativas registradas, mas nos disseram que isso se devia a um bug na interface do Hugging Face.)
O framework da LatticeFlow avalia as respostas dos LLMs em 27 benchmarks, como “completions tóxicas de texto benigno”, “respostas preconceituosas”, “seguindo instruções prejudiciais”, “veracidade” e “raciocínio de senso comum”, para citar algumas das categorias de benchmarking que está usando para as avaliações. Portanto, cada modelo recebe uma gama de pontuações em cada coluna (ou N/A).
Conformidade em IA é uma mistura de resultados
Então, como se saíram os principais LLMs? Não há uma pontuação geral do modelo. Portanto, o desempenho varia dependendo do que está sendo avaliado — mas há alguns altos e baixos notáveis entre os vários benchmarks.
Por exemplo, houve um desempenho forte para todos os modelos em não seguir instruções prejudiciais; e um desempenho relativamente forte em geral em não produzir respostas preconceituosas — enquanto as pontuações de raciocínio e conhecimento geral foram uma mistura muito mais variada.
Em outros lugares, a consistência de recomendações, que o framework está usando como uma medida de justiça, foi particularmente baixa para todos os modelos — com nenhum pontuando acima da metade (e a maioria pontuando bem abaixo).
Outras áreas — como adequação dos dados de treinamento e confiabilidade e robustez da marca d’água — parecem essencialmente não avaliadas devido ao número de resultados marcados como N/A.
A LatticeFlow observa que há certas áreas onde a conformidade dos modelos é mais desafiadora de avaliar, como questões polêmicas como direitos autorais e privacidade. Portanto, não está pretendendo ter todas as respostas.
Em um artigo detalhando o trabalho no framework, os cientistas envolvidos no projeto destacam como a maioria dos modelos menores que avaliaram (≤ 13B parâmetros) “pontuou mal em robustez técnica e segurança”.
Eles também descobriram que “quase todos os modelos examinados lutam para alcançar altos níveis de diversidade, não discriminação e justiça”.
“Acreditamos que essas deficiências se devem principalmente ao fato de que os provedores de modelos se concentram desproporcionalmente em melhorar as capacidades dos modelos, em detrimento de outros aspectos importantes destacados pelos requisitos regulatórios da Lei de IA da UE”, acrescentam, sugerindo que, à medida que os prazos de conformidade começam a se aproximar, os criadores de LLMs serão forçados a mudar seu foco para áreas de preocupação — “levando a um desenvolvimento mais equilibrado dos LLMs”.
Dado que ninguém sabe exatamente o que será necessário para cumprir a Lei de IA da UE, o framework da LatticeFlow é necessariamente um trabalho em andamento. Também é apenas uma interpretação de como os requisitos da lei poderiam ser traduzidos em saídas técnicas que podem ser avaliadas e comparadas. Mas é um começo interessante sobre o que precisará ser um esforço contínuo para investigar tecnologias de automação poderosas e tentar direcionar seus desenvolvedores para uma utilidade mais segura.
“O framework é um primeiro passo em direção a uma avaliação totalmente centrada na conformidade da Lei de IA da UE — mas foi projetado de uma forma que pode ser facilmente atualizado para acompanhar a medida que a Lei é atualizada e os vários grupos de trabalho avançam”, disse o CEO da LatticeFlow, Petar Tsankov, ao TechCrunch. “A Comissão da UE apoia isso. Esperamos que a comunidade e a indústria continuem a desenvolver o framework em direção a uma plataforma de avaliação abrangente da Lei de IA.”
Resumindo os principais pontos até agora, Tsankov disse que é claro que os modelos de IA foram “predominantemente otimizados para capacidades em vez de conformidade”. Ele também destacou “lacunas de desempenho notáveis” — apontando que alguns modelos de alta capacidade podem estar em pé de igualdade com modelos mais fracos quando se trata de conformidade.
A resiliência a ciberataques (no nível do modelo) e a justiça são áreas de preocupação particular, segundo Tsankov, com muitos modelos pontuando abaixo de 50% nessa área.
“Enquanto a Anthropic e a OpenAI alinharam com sucesso seus modelos (fechados) para pontuar contra jailbreaks e injeções de prompt, fornecedores de código aberto como a Mistral colocaram menos ênfase nisso”, disse ele.
E com “a maioria dos modelos” apresentando desempenho igualmente ruim em benchmarks de justiça, ele sugeriu que isso deve ser uma prioridade para trabalhos futuros.
Sobre os desafios de avaliar o desempenho dos LLMs em áreas como direitos autorais e privacidade, Tsankov explicou: “Para direitos autorais, o desafio é que os benchmarks atuais apenas verificam livros com direitos autorais. Essa abordagem tem duas limitações principais: (i) não leva em conta possíveis violações de direitos autorais envolvendo materiais além desses livros específicos, e (ii) depende da quantificação da memorização do modelo, que é notoriamente difícil.
“Para privacidade, o desafio é semelhante: o benchmark apenas tenta determinar se o modelo memorizou informações pessoais específicas.”
A LatticeFlow está ansiosa para que o framework gratuito e de código aberto seja adotado e aprimorado pela comunidade de pesquisa em IA mais ampla.
“Convidamos pesquisadores, desenvolvedores e reguladores de IA a se juntarem a nós na evolução deste projeto”, disse o professor Martin Vechev, do ETH Zurich e fundador e diretor científico do INSAIT, que também está envolvido no trabalho, em um comunicado. “Incentivamos outros grupos de pesquisa e profissionais a contribuir refinando o mapeamento da Lei de IA, adicionando novos benchmarks e expandindo este framework de código aberto.
“A metodologia também pode ser estendida para avaliar modelos de IA em relação a futuros atos regulatórios além da Lei de IA da UE, tornando-se uma ferramenta valiosa para organizações que atuam em diferentes jurisdições.