Muitas ferramentas de IA podem olhar para um vídeo hoje e resumir o que está acontecendo, mas as coisas se tornam um pouco complicadas quando você pede aos modelos perguntas sobre vários vídeos e filmagens que abrangem muitas horas.
Essa é uma grande limitação para empresas de segurança que desejam usar IA para examinar milhares de horas de filmagens de diferentes câmeras, assim como para empresas de marketing que querem estudar diferentes campanhas de vídeo e sessões de produtos.
A Memories.ai quer enfrentar esse problema com sua plataforma de IA que pode processar até 10 milhões de horas de vídeo. Para empresas com muito vídeo para analisar, a startup quer fornecer uma camada contextual, completa com indexação pesquisável, etiquetagem, segmentos e agregação.
Seu cofundador Dr. Shawn Shen foi cientista de pesquisa nos Reality Labs da Meta enquanto estava cursando seu doutorado, e seu colega Enmin (Ben) Zhou trabalhou na Meta como engenheiro de aprendizado de máquina.
“Todas as principais empresas de IA, como Google, OpenAI e Meta, estão focadas em produzir modelos de ponta a ponta. Essas capacidades são boas, mas esses modelos muitas vezes têm limitações em entender o contexto do vídeo além de uma ou duas horas”, disse Shen ao TechCrunch.
“Mas quando os humanos usam memória visual, nós filtramos um grande contexto de dados. Fomos inspirados por isso e queríamos construir uma solução para entender vídeos ao longo de muitas horas de forma mais eficaz”, afirmou.
Com esse objetivo, a empresa agora levantou US$ 8 milhões em uma rodada de financiamento seed liderada pela Susa Ventures, com participação da Samsung Next, Fusion Fund, Crane Ventures, Seedcamp e Creator Ventures. Shen disse que a empresa inicialmente pretendia levantar US$ 4 milhões, mas acabou com uma rodada superdimensionada devido ao interesse dos investidores.
“Shen é um fundador altamente técnico e está obcecado em empurrar os limites da compreensão e inteligência de vídeo”, disse Misha Gordon-Rowe, parceiro da Susa Ventures. “A Memories.ai pode desbloquear muitos dados de inteligência visual de primeira parte com sua solução. Sentimos que havia uma lacuna no mercado para inteligência visual de longo contexto, o que nos atraiu a investir na empresa”, acrescentou.
A Samsung Next tinha uma tese um pouco diferente: o braço de investimento da Samsung vê a solução da Memories.ai como útil para consumidores.
“Uma coisa que gostamos na Memories.ai é que ela pode fazer muita computação no dispositivo. Isso significa que você não precisa necessariamente armazenar dados de vídeo na nuvem. Isso pode desbloquear melhores aplicações de segurança para pessoas que estão apreensivas em colocar câmeras de segurança em suas casas devido a preocupações de privacidade”, disse Sam Campbell, parceiro da Samsung Next.
A Memories.ai afirma que usa sua própria pilha tecnológica e modelos para realizar análises. Primeiro, remove o ruído dos vídeos e passa a saída por uma camada de compressão para armazenar apenas os dados importantes. Em seguida, há uma camada de indexação, que torna os dados de vídeo pesquisáveis (usando consultas em linguagem natural) com segmentação e etiquetas. Também há uma camada de agregação que resume dados do índice, ajudando a criar relatórios.
Atualmente, a startup atende a dois tipos de empresas: marketing e segurança. As empresas de marketing podem usar as ferramentas da startup para pesquisar tendências relacionadas às suas marcas nas redes sociais e identificar que tipo de vídeo desejam produzir. A Memories.ai também fornece ferramentas para os profissionais de marketing criarem esses vídeos.
A empresa também está trabalhando com empresas de segurança para ajudá-las a analisar filmagens de segurança para determinar ações potencialmente perigosas por pessoas nos vídeos, raciocinando sobre padrões.
Atualmente, as empresas que trabalham com a Memories.ai precisam enviar sua biblioteca de vídeos para a plataforma para que ela analise os clipes. Mas Shen disse que, no futuro, seus clientes poderão criar um drive compartilhado e sincronizar conteúdo mais facilmente. O plano é permitir que os clientes façam perguntas como: “Conte-me tudo sobre as pessoas que entrevistei na última semana.”
Shen imagina um assistente de IA que pode ganhar contexto sobre a vida de um usuário por meio de suas fotos ou quando ativam óculos inteligentes. Ele também vê a tecnologia desempenhando um papel no treinamento de robôs humanoides para realizar tarefas complexas ou ajudando carros autônomos a se lembrarem de diferentes rotas.
A empresa atualmente emprega 15 pessoas e planeja usar o fundo para aumentar sua equipe e melhorar sua busca.
A Memories.ai está competindo com startups semelhantes, como mem0 e Letta, que estão trabalhando para fornecer uma camada de memória para modelos de IA, embora ofereçam suporte limitado a vídeos no momento. Ela também precisa lidar com empresas como TwelveLabs e Google, que têm trabalhado para ajudar modelos de IA a entender vídeos.
No entanto, Shen acredita que a solução de sua empresa é mais horizontal, o que permitiria que ela trabalhasse com diferentes modelos de vídeo.