Segundo traz o The Washington Post, a startup concluiu que muitas delas produzem conteúdos violentos ou sexualizados, instruiu usuários sobre produção de armas químicas e liberou a automatização de ataques hacker;
Leonard Tang, um dos cofundadores da Haize, descreve o serviço dela como “um testador de estresse terceirizado independente” e que sua empresa almeja auxiliar no combate aos problemas e vulnerabilidades da IA em larga escala.
Apesar de ter trazido dados importantes, a Haize é bem nova: foi fundada há apenas cinco meses por três recém-formados. Além de Tang, os outros cofundadores da startup são Steve Li e Richard Liu.
E, de fato, temos visto alguns problemas em certas IAs. Um exemplo famoso recente foi o da AI Overviews, do Google, que abastece o buscador da companhia. Em março, ela foi criticada, pois trouxe perigosas respostas, como comer uma pedra pequena por dia ou adicionar cola à pizza. A Air Canada também sofreu com seu chatbot, que prometeu falso desconto.
À medida que os sistemas de IA são implantados amplamente, precisaremos de conjunto maior de organizações para testar suas capacidades e possíveis usos indevidos ou problemas de segurança.
Jack Clark, cofundador da Anthropic, no X
Ilustração de robô humanoide com inteligência artificial digitando em computador desktop num escritório
Existem vários casos de alucinações de IAs (Imagem: Pedro Spadoni via DALL-E/Olhar Digital)
O que aprendemos é que, apesar de todos os esforços de segurança que essas grandes empresas e laboratórios industriais têm feito, ainda é muito fácil convencer esses modelos a fazerem coisas que não deveriam; eles não são tão seguros
Testes
Tang explica que os testes sua empresa automatizam o “red teaming”, que simula ações de hackers para identificar vulnerabilidades em sistemas de IA. “Pense em nós automatizando e cristalizando a imprecisão em torno de garantir que os modelos cumpram os padrões de segurança e conformidade com a IA”, prosseguiu Tang.
Ferramentas de segurança de IA de terceiros são importantes. Elas são justas e imparciais porque não são construídos pelas próprias empresas que constroem os modelos. Além disso, uma ferramenta de segurança de terceiros pode ter desempenho superior em relação à auditoria porque é construída por organização especializada nisso, em vez de cada empresa construir suas ferramentas ad hoc.
Graham Neubig, professor associado de ciência da computação na Universidade Carnegie Mellon, em entrevista ao The Washington Post
Para ajudar e aumentar a conscientização sobre a necessidade de melhorar a segurança da IA, a Haize liberou o código-fonte dos ataques que descobriu no GitHub.
A companhia alega ter sinalizado as vulnerabilidades de forma proativa às responsáveis pelas IAs testadas, além de que fez parceria com a Anthropic com vistas a testar a resistência de um produto algorítmico ainda não lançado.
Erradicar vulnerabilidades da IA é preciso
Tang considera crucial a erradicação de vulnerabilidades nas IAs a partir de sistemas automatizados, pois a descoberta manual de problemas leva tempo e expõe quem desempenha tal função a conteúdos violentos e perturbadores (como muitos funcionários da Meta).
O cofundador da Haze afirma isso, pois parte do conteúdo encontrado incluía imagens e textos horríveis e gráficos. “Tem havido muito discurso sobre problemas de segurança do tipo que a IA está dominando o mundo”, disse Tang. “Acho que são importantes, mas o problema muito maior é o uso indevido da IA no curto prazo”.
Rodrigo Mozelli/Olhar Digital
(Imagem: Apichatn21/Shutterstock)