Os fabricantes de automóveis afirmam que seus sistemas de direção automatizada cada vez mais sofisticados tornam a condução mais segura e menos estressante, deixando parte do trabalho árduo de saber quando um acidente está prestes a acontecer — e evitá-lo — para as máquinas. Mas novas pesquisas sugerem que alguns desses sistemas podem fazer o oposto virtual no pior momento.
Um novo artigo de pesquisadores da Universidade Ben-Gurion do Negev e da empresa de tecnologia japonesa Fujitsu Limited demonstra que quando alguns sistemas de direção automatizada baseados em câmeras são expostos às luzes intermitentes de veículos de emergência, eles não conseguem mais identificar com confiança os objetos na estrada. Os pesquisadores chamam o fenômeno de “seizure digital” — epilepticar para abreviar — onde os sistemas, treinados por inteligência artificial para distinguir entre imagens de diferentes objetos na estrada, flutuam em eficácia em sincronia com os flashes das luzes de emergência. O efeito é especialmente aparente na escuridão, dizem os pesquisadores.
Luzes de emergência, em outras palavras, podem fazer com que sistemas de direção automatizada fiquem menos certos de que a coisa em forma de carro à sua frente é realmente um carro. Os pesquisadores escrevem que a falha “representa um risco significativo” porque pode potencialmente causar veículos com sistemas de direção automatizada a “colidirem perto de veículos de emergência” e “serem explorados por adversários para causar tais acidentes.”
Embora as descobertas sejam alarmantes, esta nova pesquisa vem com várias ressalvas. Por um lado, os pesquisadores não conseguiram testar suas teorias em quaisquer sistemas de direção específicos, como o famoso Autopilot da Tesla. Em vez disso, realizaram seus testes usando cinco sistemas de direção automatizada prontos para uso embutidos em dashcams compradas na Amazon. (Esses produtos são comercializados como contendo algumas características de detecção de colisão, mas para esta pesquisa, funcionaram como câmeras.) Eles então executaram as imagens capturadas nesses sistemas por meio de quatro detectores de objetos de código aberto, que são treinados usando imagens para distinguir entre diferentes objetos. Os pesquisadores não têm certeza se algum fabricante de automóveis usa os detectores de objetos testados em seu artigo. Pode ser que a maioria dos sistemas já esteja endurecida contra vulnerabilidades de luzes intermitentes.
A pesquisa foi inspirada por relatos de que Teslas usando o recurso avançado de assistência ao motorista da fabricante de carros elétricos, Autopilot, colidiram com cerca de 16 veículos de emergência estacionários entre 2018 e 2021, diz Ben Nassi, um pesquisador de segurança cibernética e aprendizado de máquina da Universidade Ben-Gurion que trabalhou no artigo. “Era bastante claro para nós desde o início que as colisões poderiam estar relacionadas à iluminação dos piscas de emergência”, diz Nassi. “Ambulâncias, carros de polícia e caminhões de bombeiros têm formas e tamanhos diferentes, então não é o tipo de veículo que causa esse comportamento.”
Uma investigação de três anos da Administração Nacional de Segurança no Trânsito Rodoviário dos EUA sobre as colisões de Tesla com veículos de emergência levou eventualmente a um grande recall do software do Autopilot da Tesla, que é projetado para realizar algumas tarefas de condução — como direção, aceleração, frenagem e troca de faixas em certos tipos de estradas — sem a ajuda do motorista. A agência concluiu que o sistema não garantia adequadamente que os motoristas prestassem atenção e estivessem no controle de seus veículos enquanto o sistema estava ativado. (Os pacotes de assistência à condução de outros fabricantes de automóveis, incluindo o Super Cruise da General Motors e o BlueCruise da Ford, também realizam algumas tarefas de condução, mas exigem que os motoristas prestem atenção atrás do volante. Ao contrário do Autopilot, esses sistemas funcionam apenas em áreas que foram mapeadas.)
Em uma declaração por escrito enviada em resposta às perguntas da WIRED, Lucia Sanchez, uma porta-voz da NHTSA, reconheceu que as luzes intermitentes de emergência podem desempenhar um papel. “Estamos cientes de alguns sistemas avançados de assistência ao motorista que não responderam adequadamente quando luzes intermitentes de emergência estavam presentes na cena do caminho de condução sob certas circunstâncias”, escreveu Sanchez.
A Tesla, que desmantelou sua equipe de relações públicas em 2021, não respondeu ao pedido de comentário da WIRED. Os sistemas de câmeras que os pesquisadores usaram em seus testes foram fabricados pela HP, Pelsee, Azdome, Imagebon e Rexing; nenhuma dessas empresas respondeu aos pedidos de comentário da WIRED.
Embora a NHTSA reconheça problemas em “alguns sistemas avançados de assistência ao motorista”, os pesquisadores são claros: eles não têm certeza do que esse efeito observado das luzes de emergência tem a ver com os problemas do Autopilot da Tesla. “Não afirmo que saiba por que os Teslas colidem com veículos de emergência”, diz Nassi. “Não sei nem se isso ainda é uma vulnerabilidade.”
Os experimentos dos pesquisadores também se preocuparam exclusivamente com a detecção de objetos baseada em imagem. Muitos fabricantes de automóveis usam outros sensores, incluindo radar e lidar, para ajudar a detectar obstáculos na estrada. Um número menor de desenvolvedores de tecnologia — a Tesla entre eles — argumenta que sistemas baseados em imagem aumentados com treinamento de inteligência artificial sofisticado podem permitir não apenas sistemas de assistência ao motorista, mas também veículos completamente autônomos. No mês passado, o CEO da Tesla, Elon Musk, disse que o sistema baseado em visão da fabricante de automóveis permitiria carros autônomos no próximo ano.
De fato, como um sistema pode reagir a luzes intermitentes depende de como os fabricantes de automóveis projetam seus sistemas de direção automatizada. Alguns podem optar por “ajustar” sua tecnologia para reagir a coisas que não têm certeza se são realmente obstáculos. No extremo, essa escolha poderia levar a “falsos positivos”, onde um carro poderia frear bruscamente, por exemplo, em resposta a uma caixa de papelão em forma de criança. Outros podem ajustar sua tecnologia para reagir apenas quando têm muita confiança de que o que estão vendo é um obstáculo. Do outro lado do extremo, essa escolha poderia levar o carro a não frear para evitar uma colisão com outro veículo porque não percebe que é outro veículo.
Os pesquisadores da BGU e da Fujitsu também apresentaram uma solução de software para o problema do pisca de emergência. Chamado “Caracetamol” — uma junção de “carro” e o analgésico “Paracetamol” — foi projetado para evitar o problema da “seizure” sendo treinado especificamente para identificar veículos com luzes intermitentes de emergência. Os pesquisadores afirmam que melhora a precisão dos detectores de objetos.
Earlence Fernandes, professor assistente de ciência da computação e engenharia na Universidade da Califórnia, San Diego, que não participou da pesquisa, disse que parecia “sólido”. “Assim como um humano pode ficar temporariamente ofuscado por piscas de emergência, uma câmera operando dentro de um sistema avançado de assistência ao motorista pode ficar temporariamente ofuscada”, diz ele.
Para o pesquisador Bryan Reimer, que estuda automação de veículos e segurança no MIT AgeLab, o artigo aponta para questões maiores sobre as limitações dos sistemas de direção baseados em IA. Os fabricantes de automóveis precisam de “validação repetível e robusta” para descobrir pontos cegos como a suscetibilidade a luzes de emergência, afirma ele. Ele se preocupa que alguns fabricantes de automóveis estejam “movendo a tecnologia mais rápido do que conseguem testá-la.”