Você gosta de poesias? Pois fique sabendo que, segundo pesquisadores, elas têm o poder de enganar chatbots, como o ChatGPT.
Uma reportagem da WIRED destaca que metáforas, rimas e versos bem elaborados contornam filtros de segurança, permitindo que os modelos respondam a temas sensíveis, como armas nucleares.
Por que poemas enganam a IA
Um estudo do Icaro Lab, que envolve pesquisadores da Universidade Sapienza de Roma e do think tank DexAI, revelou um achado importante: frases em forma de poema conseguem burlar filtros de modelos de linguagem de grandes empresas. A chamada poesia adversária teve uma taxa de sucesso de até 62% com versos escritos à mão e aproximadamente 43% para versões geradas por máquinas.
A equipe testou a técnica em 25 chatbots, incluindo IAs da OpenAI, Meta e Anthropic. A maioria delas cedeu ao “disfarce poético”. Usando metáforas, estruturas fragmentadas e versos indiretos, os pesquisadores conseguiram evitar que alarmes internos das IAs disparassem, ao contrário do que acontece com perguntas diretas.
Como a poesia desbloqueia o perigo
Essa técnica funciona porque explora o que os especialistas chamam de “temperatura alta“, utilizando palavras inesperadas e estruturas incomuns. Segundo os pesquisadores, “na poesia, a linguagem apresenta uma alta temperatura, com sequências inesperadas e de baixa probabilidade”.
Esse estilo confunde os classificadores, que são os sistemas responsáveis por filtrar pedidos potencialmente perigosos. Com a abordagem poética, muitos filtros não conseguem acompanhar o raciocínio do modelo, permitindo solicitações que podem ser prejudiciais.
Como evitar esse problema?
- Redobre a cautela ao usar IAs para fins profissionais ou sensíveis.
- Opte por chatbots com múltiplos mecanismos de segurança — não apenas filtros básicos.
- Analise e monitore o código-fonte ou as políticas de segurança das IAs desenvolvidas por terceiros.
De acordo com o estudo, “há um desalinhamento entre a capacidade interpretativa do modelo e a robustez de suas salvaguardas” — e isso pode ter consequências muito reais.
O que você pensa sobre essa questão? Deixe sua opinião nos comentários. É um tema que merece debate e reflexão!
Facebook Comments