A Nvidia diz que seu novo editor de música de IA pode criar “sons nunca ouvidos antes” – como uma trombeta que mia. A ferramenta, chamada Fugatto, é capaz de gerar música, sons e fala usando entradas de texto e áudio com as quais nunca foi treinada.
Como mostrado em um vídeo incorporado abaixo, isso permite que o Fugatto crie músicas com base em solicitações excêntricas, como “Crie um saxofone uivando, latindo e, em seguida, música eletrônica com cães latindo.”
Outros exemplos compartilhados pela empresa incluem a capacidade de produzir efeitos sonoros únicos com base em uma descrição, como “Pulsos de graves profundos e estrondosos emparelhados com intermitentes, chiados digitais agudos, como o som de uma máquina senciente massiva acordando.”
Ele pode até transformar o som da voz de alguém, mudando seu sotaque ou dando-lhe um tom diferente, como raivoso ou calmo. Existem maneiras de editar músicas também, já que o Fugatto pode isolar os vocais de uma canção, adicionar instrumentos e até mudar uma melodia trocando um piano por um cantor de ópera.
Um artigo publicado com o anúncio mostra a longa lista de todos os conjuntos de dados nos quais a Nvidia diz que o Fugatto foi treinado, um dos quais inclui uma biblioteca de efeitos sonoros da BBC.
Já existem várias outras ferramentas de áudio de IA por aí, incluindo aquelas da Stability AI, OpenAI, Google DeepMind, ElevenLabs e Adobe, mas não há aquelas que afirmam criar sons completamente novos e nunca ouvidos. Algumas startups de IA estão enfrentando processos por violação de direitos autorais devido às suas ferramentas de criação musical, enquanto um relatório recente descobriu que a Nvidia e outras empresas treinaram modelos de IA com legendas de milhares de vídeos do YouTube.
Para construir o Fugatto, a Nvidia diz que os pesquisadores tiveram que montar um conjunto de dados com milhões de amostras de áudio. Eles então criaram instruções “que expandiram consideravelmente a gama de tarefas que o modelo poderia realizar, enquanto alcançava um desempenho mais preciso e permitindo novas tarefas sem exigir dados adicionais.” A Nvidia não diz quando – ou se – a ferramenta estará amplamente disponível.