A Midjourney está planejando lançar uma ferramenta web aprimorada que permitirá aos usuários editar qualquer imagem enviada da web usando a IA generativa da Midjourney.
A ferramenta aprimorada, que o CEO da Midjourney, David Holtz, disse que será lançada “no início da próxima semana”, também permitirá que os usuários retexturizem objetos em imagens para “repaintar” suas cores e detalhes de acordo com legendas.
Editar imagens existentes com IA se tornou um tópico polêmico recentemente. Plataformas como a Meta têm lutado para rotular imagens editadas com ferramentas de IA versus aquelas geradas do zero com um modelo de IA, enquanto empresas como o Google lançaram recursos poderosos de IA que não dão nenhuma indicação visual de que as imagens foram modificadas por IA.
No ano passado, a Midjourney se comprometeu a usar a propriedade Digital Source Type da IPTC, um padrão técnico que incorpora metadados em imagens indicando que foram geradas por IA. No entanto, a empresa é uma das poucas grandes plataformas de IA que não adotou a C2PA, uma tecnologia de metadados que rastreia toda a proveniência de uma imagem, incluindo o equipamento e o software usados para criá-la.
Em uma postagem no servidor oficial do Discord da Midjourney, Holz disse que a ferramenta de imagem aprimorada será restrita a um “subconjunto da comunidade atual” para começar, com moderação humana aumentada, bem como “novos moderadores de IA mais avançados” para tentar prevenir abusos.
“Honestamente, não temos certeza de como restringir precisamente a implementação deste recurso”, disse ele. A Midjourney está solicitando feedback da comunidade por meio de uma pesquisa que usará para determinar quais usuários terão acesso primeiro.
Existem riscos em liberar esses tipos de ferramentas de edição sem salvaguardas adequadas. Elas podem facilitar a violação de direitos autorais em grande escala ou promover a disseminação de deepfakes enganosos.
Os deepfakes estão se espalhando como fogo em redes sociais, tornando mais difícil distinguir a verdade da desinformação. Recentemente, imagens geradas por IA falsas de destruição e sofrimento humano inundaram a web após o furacão Helene.
De acordo com dados da Clarity, uma empresa de detecção de deepfakes, 900% mais deepfakes foram criados e publicados este ano em comparação com o mesmo período do ano passado. Isso está causando alarme, compreensivelmente. Uma pesquisa recente da YouGov descobriu que 85% dos americanos estavam preocupados com a disseminação de deepfakes enganosos online.
Na ausência de uma lei criminalizando deepfakes em nível federal nos EUA, mais de 10 estados promulgaram estatutos contra a impersonalização auxiliada por IA. A lei da Califórnia – atualmente paralisada – seria a primeira a capacitar juízes a ordenar que os postadores de deepfakes os removam ou potencialmente enfrentem penalidades monetárias.
A Midjourney não tem sido exatamente um exemplo brilhante de implementação responsável de IA. (Ela está sendo processada por seu suposto uso de conteúdo protegido por direitos autorais para treinar seus modelos de IA generativa, por exemplo.) Mas, nos últimos meses, a plataforma tomou medidas para limitar a disseminação de deepfakes, incluindo filtros para figuras políticas antes da eleição presidencial dos EUA.