OpenAI finalmente adicionou o tão aguardado vídeo e compartilhamento de tela ao seu modo de voz avançado, permitindo que os usuários interajam com o chatbot em diferentes modalidades.
Ambas as funcionalidades estão agora disponíveis nos aplicativos móveis iOS e Android para usuários do ChatGPT Teams, Plus e Pro, e serão lançadas para assinantes do ChatGPT Enterprise e Edu em janeiro. No entanto, usuários na UE, Suíça, Islândia, Noruega e Liechtenstein não poderão acessar o modo de voz avançado.
A OpenAI deu uma prévia do recurso em maio, quando a empresa revelou o GPT-4o e discutiu como o ChatGPT aprendeu a “assistir” a um jogo e explicar o que está acontecendo. O modo de voz avançado foi lançado para os usuários em setembro.
Os usuários podem acessar o vídeo por meio de novos botões na tela do modo de voz avançado para iniciar um vídeo.
O modo de vídeo da OpenAI se assemelha a uma chamada de vídeo como o Facetime, pois o ChatGPT responde em tempo real ao que os usuários mostram no vídeo. Ele pode ver o que está ao redor do usuário, identificar objetos e até lembrar pessoas que se apresentam. Em uma demonstração da OpenAI como parte do evento “12 Days of Shipmas” da empresa, o ChatGPT usou o recurso de vídeo para ajudar a preparar café. O ChatGPT viu os utensílios de café, instruiu quando colocar um filtro e criticou o resultado.
É também muito semelhante ao Projeto Astra, recentemente anunciado pelo Google, onde os usuários podem abrir uma conversa em vídeo e o Gemini 2.0 responderá perguntas sobre o que vê, como identificar uma escultura encontrada em uma rua de Londres. De muitas maneiras, essas funcionalidades são versões mais avançadas do que dispositivos de IA, como o Humane Pin e o Rabbit r1, foram comercializados para fazer: ter um assistente de voz de IA respondendo a perguntas sobre o que está vendo em um vídeo.
Compartilhando uma tela
O novo recurso de compartilhamento de tela traz o ChatGPT para fora do aplicativo e para o reino do navegador.
Para o compartilhamento de tela, um menu de três pontos permite que os usuários naveguem para fora do aplicativo ChatGPT. Eles podem abrir aplicativos em seus telefones e perguntar ao ChatGPT sobre o que está vendo. Na demonstração, pesquisadores da OpenAI ativaram o compartilhamento de tela e, em seguida, abriram o aplicativo de mensagens para perguntar ao ChatGPT como responder a uma foto enviada por mensagem de texto.
No entanto, o recurso de compartilhamento de tela no modo de voz avançado tem semelhanças com funcionalidades recentemente lançadas pela Microsoft e pelo Google.
Na semana passada, a Microsoft lançou uma versão de pré-visualização do Copilot Vision, que permite que assinantes Pro abram um chat com o Copilot enquanto navegam em uma página da web. O Copilot Vision pode olhar para fotos no site de uma loja ou até ajudar a jogar o jogo de adivinhação de mapas Geoguessr. O Projeto Astra do Google também pode ler navegadores da mesma forma.
Tanto o Google quanto a OpenAI lançaram funcionalidades de chat de IA com compartilhamento de tela em telefones para atingir a base de consumidores que pode estar usando o ChatGPT ou o Gemini mais em movimento. Mas esses tipos de funcionalidades podem sinalizar uma maneira para as empresas colaborarem mais com agentes de IA, já que o agente pode ver o que uma pessoa está vendo na tela. Pode ser um precursor de modelos que usam computadores, como o Computer Use da Anthropic, onde o modelo de IA não só observa uma tela, mas também abre ativamente abas e programas para o usuário.
Ho ho ho, faça uma pergunta ao Papai Noel
Em uma tentativa de trazer leveza, a OpenAI também lançou o “Modo Papai Noel” no modo de voz avançado. A nova voz pré-configurada soa muito como o bom velhinho de traje vermelho.
Ao contrário dos novos recursos restritos a usuários específicos, o “Modo Papai Noel” agora está disponível para usuários com acesso ao modo de voz avançado no aplicativo móvel, na versão web do ChatGPT e nos aplicativos para Windows e MacOS até o início de janeiro.
As conversas com o Papai Noel, no entanto, não serão salvas no histórico de chats e não afetarão a memória do ChatGPT.
Até a OpenAI está sentindo o espírito natalino.