A Microsoft começou a testar hoje sua nova funcionalidade Copilot Vision. Originalmente apresentada em outubro, o Copilot Vision permite que o assistente de IA da Microsoft veja o que você vê em uma página da web que está navegando. Você pode então fazer perguntas sobre o texto, imagens e conteúdo que está visualizando ou usá-lo para ajudá-lo.
“Quando você escolhe ativar o Copilot Vision, ele vê a página em que você está, lê junto com você e você pode conversar sobre o problema que está enfrentando juntos”, diz a equipe do Copilot em um post no blog. “Navegar não precisa mais ser uma experiência solitária, apenas você e todas as suas abas.”
É uma experiência totalmente opcional, e você deve conceder permissão explicitamente para que o Copilot Vision possa ler páginas da web no navegador Edge da Microsoft. A Microsoft demonstrou originalmente a funcionalidade em outubro, mostrando como seu assistente de IA poderia ler imagens de uma coleção no OneDrive na web e até decifrar receitas escritas à mão e oferecer dicas de culinária. Você também poderia usar esse recurso enquanto faz compras na web para encontrar recomendações de produtos.
O Copilot Vision está em testes limitados no momento, disponível apenas para assinantes do Copilot Pro através do programa Copilot Labs da Microsoft. É claro que a Microsoft está sendo cautelosa com essa funcionalidade, pois permite que modelos de IA comecem a ler as coisas que você está vendo na tela em um navegador da web, o que naturalmente gera preocupações sobre privacidade. Tenho certeza de que as preocupações de segurança em torno do novo recurso Recall, que finalmente entrou em testes no mês passado, desempenharam um papel importante na cautela da Microsoft aqui.
“À medida que lançamos isso, o Vision interagirá apenas com um conjunto selecionado de sites para começar”, diz a equipe do Copilot. “Com o tempo, expandiremos cautelosamente essa lista. É importante enfatizar que o Vision não captura, armazena ou usa dados de editores para treinar nossos modelos. Em resumo, estamos priorizando direitos autorais, criadores e a privacidade e segurança de nossos usuários – e colocando todos eles em primeiro lugar.”
Um número limitado de assinantes do Copilot Pro poderá acessar o Copilot Vision hoje nos EUA, enquanto a Microsoft trabalha para ouvir feedback e iterar sobre o Copilot Vision. Ela planeja expandir o acesso a mais assinantes Pro e sites “com o tempo.”