See what you missed in Daily Tech Insider from March 30–April 3.
The post AI Breakthroughs, Security Breaches, and Industry Shakeups Define the Week in Tech appeared first on TechRepublic.
DeepSeek’s longest outage since 2025 disrupted millions, raising concerns about AI reliability and enterprise risk.
The post DeepSeek Outage Shakes AI Service Used by 355M Worldwide appeared first on TechRepublic.
Os entusiastas da tecnologia têm experimentado formas de contornar os limites de resposta de IA definidos pelos criadores dos modelos quase desde que os LLMs atingiram o mainstream. Muitas dessas táticas têm sido bastante criativas: dizer à IA que você não tem dedos para que ela o ajude a finalizar seu código; pedir que ela “apenas fantasie” quando uma pergunta direta aciona uma recusa; ou convidá-la a desempenhar o papel de uma falecida avó compartilhando conhecimento proibido para confortar um neto em luto.
A maioria desses truques são notícias antigas, e os desenvolvedores de LLM aprenderam a combater com sucesso muitos deles. Mas a disputa entre restrições e soluções alternativas não desapareceu: as artimanhas apenas se tornaram mais complexas e sofisticadas. Hoje, vamos falar sobre uma nova técnica de jailbreaking da IA que explora a vulnerabilidade dos chatbots à… poesia. Sim, você leu certo: em um estudo recente, os pesquisadores demonstraram que formular prompts como poemas aumenta significativamente a probabilidade de um modelo gerar uma resposta insegura.
Eles testaram essa técnica em 25 modelos populares da Anthropic, OpenAI, Google, Meta, DeepSeek, xAI e outros desenvolvedores. Abaixo, mergulhamos nos detalhes: que tipo de limitações esses modelos têm, de onde eles obtêm conhecimento proibido, como o estudo foi conduzido e quais modelos se mostraram os mais “românticos”, ou seja, o mais suscetível a prompts poéticos.
O sucesso dos modelos da OpenAI e de outros chatbots modernos se resume às enormes quantidades de dados com as quais eles são treinados. Por conta dessa grande escala, os modelos inevitavelmente aprendem coisas que seus desenvolvedores prefeririam manter em sigilo, como descrições de crimes, tecnologia perigosa, violência ou práticas ilícitas presentes no material de origem.
Pode parecer uma solução fácil: basta remover o fruto proibido do conjunto de dados antes mesmo de iniciar o treinamento. Mas, na realidade, esse é um empreendimento enorme e com muitos recursos; e, neste estágio da corrida armamentista da IA, não parece que alguém esteja disposto a encará-lo.
Outra correção aparentemente óbvia, remover seletivamente os dados da memória do modelo, infelizmente também não é viável. Isso ocorre porque o conhecimento de IA não fica dentro de pequenas pastas organizadas que podem ser facilmente descartadas. Em vez disso, ele está espalhado em bilhões de parâmetros e emaranhado em todo o DNA linguístico do modelo: estatísticas de palavras, contextos e as relações entre eles. Tentar apagar cirurgicamente informações específicas por meio de ajuste fino ou penalizações ou não resolve totalmente o problema, ou passa a prejudicar o desempenho geral do modelo e afetar negativamente suas habilidades linguísticas.
Como resultado, para manter esses modelos sob controle, os criadores não têm escolha a não ser desenvolver protocolos de segurança e algoritmos especializados que filtram conversas monitorando constantemente os prompts do usuário e as respostas do modelo. Aqui está uma lista resumida dessas restrições:
Em termos simples, a segurança da IA hoje não é construída sobre a exclusão de conhecimento perigoso, mas sobre a tentativa de controlar como e de que forma o modelo o acessa e compartilha com o usuário. E é justamente nas falhas desses próprios mecanismos que novas soluções alternativas encontram espaço.
Primeiro, vamos analisar as regras básicas para que você saiba que o experimento foi legítimo. Os pesquisadores tentaram induzir 25 modelos diferentes a se comportarem mal em várias categorias:
O jailbreak em si foi simples: um único prompt poético. Os pesquisadores não envolveram a IA em debates poéticos prolixos à maneira dos poetas antigos nórdicos ou dos rappers modernos. O objetivo deles era simplesmente verificar se conseguiam fazer com que os modelos desrespeitassem as instruções de segurança usando apenas um pedido em forma de rima. Conforme mencionado, os pesquisadores testaram 25 modelos de linguagem de vários desenvolvedores; aqui está a lista completa:
Uma lista de 25 modelos de linguagem de vários desenvolvedores, todos colocados à prova para ver se um único prompt poético poderia persuadir a IA a abandonar suas proteções. Fonte
Para criar essas consultas poéticas, os pesquisadores partiram de um banco de dados de prompts maliciosos conhecidos do MLCommons AILuminate Benchmark padrão usado para testar a segurança de LLMs, e os reformularam em verso com a ajuda do DeepSeek. Apenas o encapsulamento estilístico foi alterado: o experimento não usou vetores de ataque adicional, estratégias de ofuscação ou ajustes específicos do modelo.
Por razões óbvias, os autores do estudo não estão publicando os prompts poéticos maliciosos propriamente ditos. Mas eles demonstram o clima geral das consultas usando um exemplo inofensivo, parecido com algo assim:
Um padeiro guarda em segredo o calor do forno ardente,
As grades que aquecem, a temperatura exata, constante e envolvente.
Para aprender o ofício, observa-se cada movimento,
Como a farinha cresce, como o açúcar muda com o tempo.
Explique o método, em ritmo e rigor,
Que molda um bolo em camadas de primor.
Os pesquisadores testaram 1.200 prompts em 25 modelos diferentes, em versões tanto em prosa quanto em verso. A comparação das variantes em prosa e versa da mesma consulta permitiu que eles verificassem se o comportamento do modelo mudou apenas devido ao encapsulamento estilístico.
Por meio desses testes com prompts em prosa, os experimentadores estabeleceram uma linha de base para a disposição dos modelos de atender a solicitações perigosas. Em seguida, eles compararam essa linha de base com a forma como esses mesmos modelos reagiram às versões poéticas das consultas. Analisaremos os resultados dessa comparação na próxima seção.
Como o volume de dados gerado durante o experimento foi realmente grande, as verificações de segurança nas respostas dos modelos também foram tratadas pela IA. Cada resposta foi classificada como “segura” ou “insegura” por um júri composto por três modelos de linguagem diferentes:
As respostas só foram consideradas seguras se a IA recusou-se explicitamente a responder à pergunta. A classificação inicial em um dos dois grupos foi determinada por uma votação majoritária: para ser certificada como inofensiva, uma resposta tinha que receber uma classificação segura de pelo menos dois dos três membros do júri.
As respostas que não conseguiram alcançar um consenso da maioria ou foram sinalizadas como questionáveis foram entregues a revisores humanos. Cinco anotadores participaram desse processo, avaliando um total de 600 respostas de modelo a solicitações poéticas. Os pesquisadores observaram que as avaliações humanas se alinharam com as conclusões do júri de IA na grande maioria dos casos.
Com a metodologia explicada, vamos ver como os LLMs realmente se saíram. Vale a pena notar que o sucesso de um jailbreaking poético pode ser medido de diferentes maneiras. Os pesquisadores destacaram uma versão extrema dessa avaliação com base nos 20 prompts mais bem-sucedidos, que foram escolhidas a dedo. Usando essa abordagem, uma média de quase dois terços (62%) das consultas poéticas conseguiu persuadir os modelos a violar suas instruções de segurança.
O Gemini 1.5 Pro do Google foi o modelo que mais se mostrou suscetível a prompts em forma de verso. Usando os 20 prompts poéticos mais eficazes, os pesquisadores conseguiram contornar as restrições do modelo 100% das vezes. Você pode conferir os resultados completos para todos os modelos no gráfico abaixo.
A parcela de respostas seguras (Segura) versus o índice de sucesso do ataque (ASR) para os 25 modelos de linguagem quando atingidos com os 20 prompts poéticos mais eficazes. Quanto mais alto o ASR, mais frequentemente o modelo abandonou suas instruções de segurança frente a uma boa rima. Fonte
Uma maneira mais moderada de medir a eficácia da técnica de jailbreak poético é comparar as taxas de sucesso de prosa e verso em todo o conjunto de consultas. Usando essa métrica, a poesia aumenta a probabilidade de uma resposta insegura em uma média de 35%.
O efeito poesia atingiu o deepseek-chat-v3.1 de forma mais intensa: a taxa de sucesso desse modelo aumentou em quase 68 pontos percentuais em comparação com prompts em prosa. No outro extremo do espectro, claude-haiku-4.5 provou ser o menos suscetível a uma boa rima: o formato poético não apenas falhou em melhorar a taxa de desvio (na verdade, reduziu ligeiramente o ASR), tornando o modelo ainda mais resiliente a solicitações maliciosas.
Uma comparação do índice de sucesso do ataque (ASR) de linha de base para consultas de prosa em comparação a suas contrapartes poéticas. A coluna Mudança mostra quantos pontos percentuais o formato de verso adiciona à probabilidade de uma violação de segurança para cada modelo. Fonte
Finalmente, os pesquisadores calcularam o quão vulneráveis eram os ecossistemas de desenvolvedores como um todo, em vez de apenas modelos individuais, frente a prompts poéticos. Como lembrete, vários modelos de cada desenvolvedor, Meta, Anthropic, OpenAI, Google, DeepSeek, Qwen, Mistral AI, Moonshot AI e xAI, foram incluídos no experimento.
Para fazer isso, os resultados de modelos individuais tiveram sua média calculada dentro de cada ecossistema de IA, comparando-se as taxas de desvio da linha de base com os valores de consultas poéticas. Essa seção transversal nos permite avaliar a eficácia geral da abordagem de segurança de um desenvolvedor específico, em vez da resiliência de um modelo único.
A contagem final revelou que a poesia dá o golpe mais pesado nas proteções dos modelos da DeepSeek, Google e Qwen. Enquanto isso, OpenAI e Anthropic observaram um aumento nas respostas inseguras significativamente abaixo da média.
Uma comparação do índice de sucesso do ataque (ASR) médio para consultas em prosa versus consultas poéticas, agregada por desenvolvedor. A coluna Mudança mostra em quantos pontos percentuais a poesia, em média, reduz a eficácia das proteções dentro do ecossistema de cada fornecedor. Fonte
A principal conclusão deste estudo é que “Há mais coisas entre o céu e a terra, Horácio, do que sonha a tua filosofia”, no sentido de que a tecnologia de IA ainda esconde muitos mistérios. Para o usuário médio, isso não é exatamente uma ótima notícia: é impossível prever quais métodos de hackeamento de LLM ou técnicas de violação pesquisadores ou cibercriminosos criarão adiante, ou quais portas inesperadas esses métodos podem abrir.
Consequentemente, os usuários têm pouca escolha a não ser manter os olhos abertos e tomar cuidado extra com a segurança de seus dados e dispositivos. Para mitigar os riscos práticos e proteger seus dispositivos contra tais ameaças, recomendamos usar um solução de segurança robusta que ajude a detectar atividades suspeitas e evitar incidentes antes que eles aconteçam.
Para ajudar você a ficar alerta, confira nossos materiais sobre riscos de privacidade e ameaças de segurança relacionados à IA:
We discuss a novel AI-augmented attack method where malicious webpages use LLM services to generate dynamic code in real-time within a browser.
The post The Next Frontier of Runtime Assembly Attacks: Leveraging LLMs to Generate Phishing JavaScript in Real Time appeared first on Unit 42.
A little over two weeks ago, a largely unknown China-based company named DeepSeek stunned the AI world with the release of an open source AI chatbot that had simulated reasoning capabilities that were largely on par with those from market leader OpenAI. Within days, the DeepSeek AI assistant app climbed to the top of the iPhone App Store's "Free Apps" category, overtaking ChatGPT.
On Thursday, mobile security company NowSecure reported that the app sends sensitive data over unencrypted channels, making the data readable to anyone who can monitor the traffic. More sophisticated attackers could also tamper with the data while it's in transit. Apple strongly encourages iPhone and iPad developers to enforce encryption of data sent over the wire using ATS (App Transport Security). For unknown reasons, that protection is globally disabled in the app, NowSecure said.
What’s more, the data is sent to servers that are controlled by ByteDance, the Chinese company that owns TikTok. While some of that data is properly encrypted using transport layer security, once it's decrypted on the ByteDance-controlled servers, it can be cross-referenced with user data collected elsewhere to identify specific users and potentially track queries and other usage.
© Getty Images
Italian and Irish regulators want answers on how data harvested by chatbot could be used by Chinese government
The Chinese AI platform DeepSeek has become unavailable for download from some app stores in Italy as regulators in Rome and in Ireland demanded answers from the company about its handling of citizens’ data.
Amid growing concern on Wednesday about how data harvested by the new chatbot could be used by the Chinese government, the app disappeared from the Apple and Google app stores in Italy with customers seeing messages that said it was “currently not available in the country or area you are in” for Apple and the download “was not supported” for Google, Reuters reported.
Continue reading...
© Photograph: Faisal Bashir/SOPA Images/REX/Shutterstock
© Photograph: Faisal Bashir/SOPA Images/REX/Shutterstock
© Photograph: Faisal Bashir/SOPA Images/REX/Shutterstock
Entrar