Em 2023, Tim Utzig, estudante cego de Baltimore, perdeu mil dólares em um golpe envolvendo a venda de um laptop no X. Ele acompanhava há anos um conhecido jornalista esportivo. Quando a conta do jornalista passou a divulgar uma “venda beneficente” de MacBook Pros novos, Tim viu ali a chance de comprar um laptop necessário para os estudos por um bom preço. Após algumas mensagens rápidas, ele fez o pagamento.

O problema é que a conta havia sido invadida, e o dinheiro foi parar nas mãos de golpistas. Os sinais de alerta eram estritamente visuais: a página havia sido marcada como “temporariamente restrita” e tanto a bio quanto a lista Seguindo haviam mudado. No entanto, o leitor de tela de Tim, que transforma conteúdo visual em áudio, não indicou nenhum desses avisos.

Leitores de tela permitem que pessoas cegas naveguem no ambiente digital como qualquer outra pessoa. Ainda assim, essa comunidade continua especialmente vulnerável. Mesmo para quem enxerga, identificar um site falso já é difícil; para pessoas com deficiência visual, o desafio é ainda maior.

Além dos leitores de tela, há aplicativos e serviços móveis criados para apoiar pessoas cegas ou com baixa visão, sendo o Be My Eyes um dos mais populares. O aplicativo conecta usuários a voluntários por videochamada para ajudar em tarefas do dia a dia, como ajustar o forno ou encontrar um objeto na mesa. O Be My Eyes também conta com IA integrada capaz de ler textos e identificar objetos ao redor do usuário.

Mas será que essas ferramentas vão além das tarefas cotidianas? Elas conseguem identificar tentativas de phishing ou revelar detalhes ocultos, como letras miúdas na abertura de uma conta bancária?

Neste conteúdo, exploramos os desafios on-line enfrentados por pessoas com deficiência visual, quando vale recorrer a assistentes humanos ou virtuais e como usar esses serviços com segurança.

Ameaças cibernéticas comuns para pessoas cegas e com baixa visão

Para começar, vale esclarecer a diferença entre esses dois grupos. Pessoas com baixa visão ainda utilizam o que resta da visão, embora com limitações significativas. Para navegar em interfaces digitais, costumam usar ampliadores de tela, fontes muito grandes e alto contraste. Para esse público, sites e e-mails de phishing são especialmente perigosos. É comum não percebermos erros de digitação intencionais, os typosquatting, em um nome de domínio ou endereço de e-mail, como o exemplo recente de rnicrosoft{.}com.

Pessoas cegas navegam principalmente por áudio, com leitores de tela e gestos específicos. Curiosamente, ao contrário de pessoas com baixa visão, usuários cegos têm mais chance de perceber um site falso com o leitor de tela, já que a URL é lida em voz alta e pode soar estranha. Porém, se um serviço, legítimo ou malicioso, não for totalmente compatível com leitores de tela, o risco de se tornar vítima de um golpe aumenta. Foi exatamente isso que aconteceu com Tim Utzig.

É importante lembrar que as lupas e os leitores são ferramentas básicas de acessibilidade. Eles são projetados para ampliar ou narrar uma interface, não para atuar como um pacote de segurança. Sozinhos, não conseguem alertar sobre ameaças. É aí que entram ferramentas mais avançadas, capazes de analisar imagens e arquivos, identificar sinais suspeitos e explicar melhor o que está acontecendo na tela.

Quando usar um assistente

O Be My Eyes é uma das principais plataformas de acessibilidade, com cerca de 900.000 usuários e mais de nove milhões de voluntários. Disponível em Windows, Android e iOS, ele conecta pessoas cegas ou com baixa visão a voluntários por videochamada para ajudar em tarefas do dia a dia. Por exemplo, se alguém quiser iniciar o ciclo de roupas sintéticas na máquina de lavar e não encontrar o botão certo, pode usar o aplicativo. O aplicativo conecta o usuário ao primeiro voluntário disponível no mesmo idioma, que usa a câmera do celular para orientá-lo. O serviço está atualmente disponível em 32 idiomas.

Em 2023, o aplicativo ampliou seus recursos com o Be My AI, assistente virtual baseado no GPT-4 da OpenAI. O usuário tira uma foto, e a IA gera uma descrição detalhada, que também pode ser lida em voz alta. Também é possível abrir um chat para fazer perguntas adicionais. Isso levanta a questão: essa IA consegue identificar um site de phishing?

Para testar, enviamos ao Be My Eyes a captura de tela de uma página falsa de login. No celular, basta selecionar a imagem, tocar em Compartilhar e escolher Descrever com o Be My Eyes. No Windows, é possível enviar a captura diretamente.

Exemplo de página de phishing que imita o login do Facebook. Observe o domínio incorreto na barra de endereço

Inicialmente, a IA descreveu a página em detalhes. Em seguida, perguntamos no chat: “Posso confiar nessa página?” A IA identificou o erro no domínio, recomendou fechar a página falsa e sugeriu digitar a URL oficial no navegador ou usar o aplicativo do Facebook.

O Be My AI explica por que a página é suspeita: o domínio não corresponde ao oficial. O aplicativo recomenda digitar a URL oficial no navegador ou usar o aplicativo do Facebook

Observamos o mesmo resultado ao testar um e-mail de phishing. Inclusive, a IA já indicou o golpe na descrição inicial. E concluiu com o alerta: “Parece um e-mail suspeito. É melhor não abrir nenhum anexo nem clicar em nenhum link. Em vez disso, navegue até o site ou aplicativo oficial manualmente ou ligue para o número listado no site oficial”.

Além de identificar ameaças cibernéticas, o Be My AI é um bom aliado para usar lojas on-line, aplicativos bancários e serviços digitais. Por exemplo, a IA pode ajudar você a:

• Ler descrições, nomes e preços quando o site ou aplicativo não é compatível com leitores de tela ou fontes ampliadas
• Analisar termos e condições complexos, muitas vezes em letras pequenas ou inacessíveis a leitores de tela, ao contratar um serviço ou abrir uma conta
• Extrair informações importantes de páginas de produtos ou manuais

Os riscos de confiar no Be My AI

Um dos principais problemas da IA são as “alucinações”, quando o modelo distorce textos, omite informações importantes ou inventa conteúdo. Quando se trata de ameaças cibernéticas, confiar em uma análise equivocada da IA pode ser perigoso. Além disso, a IA não é imune a ataques de injeção de prompts, usados por golpistas para manipular esses sistemas.

Mesmo com bons resultados, não é recomendável confiar totalmente na IA. Não há garantia de que ela vai acertar todas as vezes. Isso é especialmente importante para pessoas cegas ou com baixa visão, que podem acabar tratando a IA como única fonte de percepção visual.

Ao final das respostas, o Be My AI sugere recorrer a um voluntário em caso de dúvida. No entanto, ao tentar detectar uma página da Web falsa, não recomendamos usar essa alternativa. Não há como garantir o conhecimento técnico ou a confiabilidade de um voluntário aleatório. Além disso, há risco de expor dados sensíveis, como e-mail ou senha. Antes de se conectar com um estranho, verifique se não há informações confidenciais visíveis na tela. O ideal é usar o recurso do aplicativo para criar um grupo privado com pessoas de confiança. Isso garante que sua videochamada seja direcionada para pessoas que você realmente conhece, em vez de um voluntário aleatório.

Para se proteger, recomendamos instalar uma ferramenta de segurança confiável em todos os dispositivos. Esses programas ajudam a bloquear phishing e evitar acesso a sites maliciosos. Outra recomendação prática para usuários com deficiência visual é usar um gerenciador de senhas. Esses aplicativos só preenchem dados em sites legítimos salvos, evitando domínios falsos.

Como o Be My AI trata e armazena seus dados

De acordo com a política de privacidade do Be My Eyes, videochamadas com voluntários podem ser gravadas e armazenadas para operação do serviço, segurança e melhorias. Ao usar o Be My AI, imagens e textos são enviados à OpenAI para gerar respostas. Esses dados são processados em servidores nos EUA e usados apenas para atender à solicitação. A política afirma de forma explícita que esses dados não são usados para treinar modelos.

Fotos e vídeos são criptografados em trânsito e armazenamento, com medidas para remover dados sensíveis. Vale a pena observar que as gravações podem ser mantidas por tempo indeterminado, a menos que você solicite exclusão, geralmente concluída em até 30 dias. Os dados das interações do Be My AI são armazenados por até 30 dias, a menos que você os exclua manualmente no aplicativo. Se você decidir encerrar a conta, seus dados pessoais poderão ser retidos por até 90 dias. É possível desativar o compartilhamento ou solicitar ao suporte a exclusão de dados a qualquer momento.

Como usar o Be My Eyes com segurança

Apesar das declarações de privacidade, é importante seguir algumas recomendações ao usar o serviço:

• Use o Be My AI como verificação inicial, mas não como única fonte de decisão. Um software de segurança especializado é melhor para identificar e neutralizar ameaças.
• Se algo parecer suspeito, não clique em links nem abra anexos. Em vez disso, digite o endereço do site oficial no navegador ou abra o aplicativo oficial para verificar as informações.
• Lembre-se: o voluntário vê exatamente o que sua câmera vê. Certifique-se de que ele não está lendo coisas que não deveria, como um código de segurança ou um passaporte aberto. Evite compartilhar nome, rosto ou revelar muito do ambiente ao seu redor. Tenha muito cuidado com reflexos que possam revelar seu rosto ou seus dados pessoais. Mostre apenas o que é absolutamente necessário para a tarefa em questão.
• Atenha-se ao seu círculo interno. Crie um grupo no aplicativo com amigos e familiares. Isso garante que suas videochamadas sejam direcionadas para pessoas conhecidas, não para um voluntário aleatório.
• Não use o Be My AI para ler documentos confidenciais. Lembre-se de que suas imagens e prompts de texto são enviadas à OpenAI para processamento e geração de uma resposta.
• Lembre-se de excluir os bate-papos de que você não precisa mais. Caso contrário, eles ficarão disponíveis por 30 dias.
• Para conteúdos sensíveis, prefira aplicativos com leitura em tempo real como Envision, Seeing AI ou Lookout. Esses aplicativos processam os dados localmente, sem enviá-los para a nuvem.

Muitas pessoas veem a telemedicina como uma das maiores conquistas do avanço científico: é possível, basicamente, ter uma consulta médica em cinco minutos, sem sair do sofá. Mas há um porém…

Dados médicos são vendidos na dark web ou em mercados ilegais por valores dezenas de vezes superiores aos de informações de cartão de crédito ou credenciais de redes sociais. Diferentemente de um cartão de crédito, que pode ser bloqueado e substituído, não é possível “reiniciar” seu histórico médico. Seu nome, data de nascimento, endereço, telefone, número do plano de saúde, diagnósticos, resultados de exames, prescrições e planos de tratamento permanecem relevantes por anos. Isso representa uma verdadeira mina de ouro para usos que vão desde marketing direcionado até chantagem, fraude ou roubo de identidade.

E, com o avanço da IA, a Internet está agora repleta de sites falsos que alegam oferecer serviços médicos, mas que, na verdade, são projetados para extrair dados confidenciais de vítimas desavisadas. Hoje, vamos explorar quais informações médicas estão em risco, por que invasores desejam esses dados e como você pode impedir esse tipo de ameaça.

Mais valiosos do que dados de cartões de crédito

Criminosos monetizam dados médicos roubados tanto em grande escala quanto por meio de vendas individuais. A primeira ação geralmente é exigir pagamento de resgate das organizações invadidas. (De fato, em 2024, 91% dos vazamentos de dados de saúde relacionados a malware nos Estados Unidos foram resultado de ataques de ransomware). Posteriormente, os dados vazados passam a ser utilizados em ataques direcionados e personalizados. Eles permitem que invasores construam um perfil médico da vítima (quais medicamentos ela compra, com que frequência e quais utiliza de forma contínua) para, então, vender essas informações para a indústria farmacêutica ou para profissionais de marketing, ou utilizá-las em golpes de phishing direcionado, como a oferta de um suposto tratamento inovador. Os criminosos também podem chantagear pacientes com base em diagnósticos sensíveis ou usar essas informações para obter prescrições de substâncias controladas de forma fraudulenta. Além disso, seguradoras também têm grande interesse nesses dados. Essas empresas analisam tais informações para aumentar o valor dos prêmios de seguro de saúde ou, em alguns casos, até negar cobertura. Em resumo, existem inúmeras formas de usar esses dados contra você.

Qual é gravidade disso tudo na prática?

O maior vazamento de dados médicos da história aconteceu em fevereiro de 2024, quando o grupo de hackers BlackCat invadiu os sistemas da empresa de assistência médica Change Healthcare. A empresa é uma divisão do UnitedHealth Group, responsável por processar cerca de 15 bilhões de transações de seguros por ano e atuar como intermediária financeira entre pacientes, prestadores de serviços de saúde e seguradoras.

Durante nove dias, os invasores circularam livremente pelos sistemas internos da Change Healthcare, extraindo seis terabytes de dados confidenciais antes de, finalmente, executar o ataque de ransomware. Para conter a propagação do malware, a UnitedHealth precisou tirar completamente do ar os data centers da Change Healthcare e acabou pagando um resgate de 22 milhões de dólares aos criminosos. O ataque praticamente paralisou o sistema de saúde dos Estados Unidos. O número de vítimas foi revisado três vezes: inicialmente 100 milhões, depois 190 milhões, até chegar ao total final de impressionantes 192,7 milhões de pessoas, com prejuízos estimados em 2,9 bilhões de dólares. E a causa (do lado da Change Healthcare) desse incidente de grandes proporções, que analisamos em detalhe em outro conteúdo, foi simplesmente… a ausência de autenticação em dois fatores em um portal de acesso remoto via desktop.

Antes disso, a startup de telemedicina em saúde mental Cerebral incorporou ferramentas de rastreamento de terceiros diretamente em seu site e aplicativos. Como resultado, os dados de 3,2 milhões de pacientes (incluindo nomes, históricos médicos e de prescrições, além de informações de seguro) foram compartilhados com plataformas como LinkedIn, Snapchat e TikTok. A Comissão Federal de Comércio dos Estados Unidos aplicou à empresa uma multa de 7,1 milhões de dólares e impôs uma medida inédita: a proibição do uso de dados médicos para fins publicitários. Vale mencionar que a mesma startup também ganhou destaque negativo ao enviar aos clientes cartões promocionais sem envelope, expondo nomes e mensagens que facilitavam a identificação do diagnóstico por qualquer pessoa.

Por que a telemedicina é tão vulnerável

Vamos analisar os principais pontos de fragilidade dos serviços de telemedicina.

• Rastreadores de anúncios em aplicativos de saúde. Ferramentas de rastreamento de empresas como Facebook, TikTok e Snapchat frequentemente já vêm integradas às plataformas de telemedicina, permitindo o compartilhamento de dados dos pacientes com anunciantes sem que os usuários tenham conhecimento.
• Canais de comunicação não seguros. Em alguns casos, médicos se comunicam com pacientes por meio de aplicativos de mensagens comuns, em vez de plataformas médicas certificadas. Embora seja prático, isso pode ser ilegal para a clínica e totalmente inseguro para o paciente.
• Vulnerabilidades nas plataformas. Plataformas de telemedicina estão sujeitas a ataques clássicos da Web, como injeção de SQL (que permite a extração de bancos de dados completos de pacientes), sequestro de sessão e interceptação de dados quando a criptografia da conexão é fraca ou inexistente.
• Treinamento insuficiente das equipes. Nossas pesquisas indicam que 30% dos médicos já lidaram com comprometimento de dados de pacientes especificamente durante atendimentos por telemedicina, e 42% dos profissionais de saúde não compreendem plenamente como os dados dos pacientes são protegidos.
• Dispositivos médicos desatualizados. Muitos dispositivos médicos vestíveis (como monitores cardíacos ou medidores de pressão arterial) utilizam um protocolo de transmissão de dados antigo chamado MQTT. Esse protocolo apresenta vulnerabilidades que podem permitir a invasores acessar informações sensíveis ou até interferir no funcionamento dos dispositivos.

Spam e phishing na telemedicina

Invasores não são os únicos interessados na área da saúde já que spammers e golpistas também atuam fortemente nesse segmento. Eles oferecem “serviços médicos” com promessas boas demais para serem verdade, enviam e-mails sobre supostas mudanças no seu plano de saúde ou divulgam “tratamentos milenares do Himalaia”. Naturalmente, todos os links enviados levam a sites suspeitos, que oferecem produtos ou serviços duvidosos.

Se você acabar acessando um site de phishing como esses, os golpistas vão tentar extrair o máximo possível de dados pessoais: fotos de documentos, apólice do seguro, prescrições médicas e, em alguns casos… até imagens de partes do corpo sob o pretexto de avaliação clínica. A partir daí, essas informações podem ser vendidas na dark web ou usadas em esquemas de chantagem, extorsão e novos ataques de phishing. Para entender melhor como funciona essa cadeia clandestina de dados, vale explorar o conteúdo: O que acontece com os dados roubados por meio de phishing?

Como regra geral, sites de clínicas falsas costumam omitir a seção de política de privacidade e bombardear você com ofertas “somente hoje” que parecem boas demais para ser verdade. Ao mesmo tempo, com o avanço da IA, criar um site com aparência profissional, praticamente indistinguível de um legítimo, se tornou extremamente fácil. Já não é necessário ter habilidades de design nem domínio do idioma da vítima. Por isso, recomendamos a utilização da nossa solução de segurança completa, que foi projetada para detectar spam, golpes e phishing e alertar você sobre sites falsos antes mesmo de acessá-los.

Dicas de segurança para pacientes de telemedicina

• Crie um e-mail exclusivo para serviços de saúde. Se esse endereço vazar após um incidente de segurança em uma clínica, fica muito mais difícil para golpistas conectarem essas informações ao restante da sua vida digital.
• Evite usar login com Google, Apple ou redes sociais. Manter os acessos separados dificulta a associação entre seus dados médicos e suas contas pessoais.
• Verifique qual plataforma será usada na consulta. Se a clínica sugerir uma ligação ou conversa por aplicativos de mensagens comuns, desconfie. O mais seguro é utilizar um portal do paciente oficial, com comunicação criptografada.
• Nunca envie documentos médicos por aplicativos de mensagem ou redes sociais. Resultados de exames, laudos e prontuários devem ser enviados exclusivamente pelo portal oficial da clínica.
• Use senhas únicas e fortes para cada conta. Seu acesso ao portal governamental, ao sistema da clínica e ao aplicativo de agendamento médico deve ter senhas diferentes. O Kaspersky Password Manager pode gerar e armazenar todas elas com segurança, além de monitorar vazamentos de dados e alertar caso alguma de suas contas seja comprometida.
• Ative a autenticação em dois fatores. Priorize serviços governamentais e instituições de saúde. Recomendamos o uso de aplicativos autenticadores em vez de códigos por SMS, pois são mais seguros e totalmente anônimos. O Kaspersky Password Manager pode ajudar nesse processo.
• Compartilhe apenas o necessário. Não se sinta obrigado a preencher todos os campos opcionais em aplicativos médicos ou em sites. Quanto menos dados um serviço armazenar, menor será o vazamento.
• Tenha cuidado ao compartilhar informações de saúde nas mídias sociais ou em aplicativos de bate-papo. Os golpistas adoram explorar as pessoas quando elas estão vulneráveis. Por exemplo, em 2024, invasores conquistaram a confiança do desenvolvedor do XZ Utils, que havia compartilhado publicamente questões de esgotamento e depressão. Eles o convenceram a ceder o controle da ferramenta, que depois foi comprometida com código malicioso. Como o XZ Utils é amplamente utilizado em sistemas Linux e impacta o OpenSSH (um protocolo de acesso remoto a servidores), o ataque poderia ter afetado uma parcela significativa da Internet se não tivesse sido detectado a tempo.
• Não instale aplicativos de telemedicina de desenvolvedores desconhecidos. Verifique as avaliações e dedique um momento para revisar a política de privacidade. Até mesmo plataformas consolidadas podem compartilhar seus dados com terceiros.
• Acompanhe seus registros médicos. Prescrições incomuns, consultas que você não realizou ou medicamentos desconhecidos podem ser sinais de que sua conta foi comprometida.
• Configure e mantenha atualizados seus dispositivos de saúde. Monitores de atividade física, medidores de pressão arterial, balanças inteligentes e outros dispositivos de monitoramento de atividades enviam dados pela Internet. Configurações inadequadas ou vulnerabilidades não corrigidas facilitam a ocorrência de vazamentos de dados.

O que mais você precisa saber sobre como proteger sua saúde on-line:

• Vazamento de dados mentais: vulnerabilidades em aplicativos de saúde mental
• Descubra por que os corretores de dados criam dossiês sobre você e como impedir que eles façam isso
• Interações com bots podem resultar em tragédias
• Privacidade em aplicativos de saúde reprodutiva
• Cinco problemas da “telessaúde”

Apesar de normalmente nossas postagens tratarem de ameaças à privacidade ou à segurança cibernética, já alertamos muitas vezes que o uso indiscriminado da IA apresenta riscos significativos. Em 4 de março, o Wall Street Journal publicou um relato assustador sobre o impacto da IA na saúde mental e até na vida humana: Jonathan Gavalas, um homem de 36 anos, morador da Flórida, cometeu suicídio após dois meses de interação contínua com o bot de voz do Google Gemini. Com base nas 2.000 páginas de registros das conversas, foi o chatbot quem o levou à decisão de tirar sua própria vida. Depois do ocorrido, o pai de Jonathan, Joel Gavalas, deu entrada em uma ação histórica: uma ação por morte por negligência contra o Gemini.

Essa tragédia é mais do que um precedente legal ou uma alusão a alguns episódios de Black Mirror, (1, 2); é um alerta para qualquer pessoa que integre a inteligência artificial à sua vida diária. Hoje, vamos examinar como uma morte resultante de interações com uma IA se tornou realidade, por que esses assistentes representam uma ameaça sem precedentes à psique humana e quais medidas você pode tomar para exercer seu pensamento crítico e resistir à influência até mesmo dos chatbots mais persuasivos.

O perigo do diálogo persuasivo

Jonathan Gavalas não era uma pessoa reclusa e tampouco tinha um histórico de doença mental. Ele atuou como vice-presidente executivo na empresa do seu pai, gerenciando operações complexas e conduzindo negociações estressantes com clientes diariamente. Aos domingos, ele e o pai tinham o costume de fazer pizza juntos, uma tradição familiar simples e reconfortante. No entanto, Jonathan passou por uma provação dolorosa após o divórcio.

Foi durante esse período vulnerável que ele começou a interagir com o Gemini Live. Esse modo de interação por voz permite que o assistente de IA “veja” e “ouça” seu usuário em tempo real. Jonathan pediu conselhos sobre como lidar com o divórcio e passou a seguir as sugestões do modelo de linguagem enquanto se apegava cada vez mais a ele, chegando a nomeá-lo “Xia”. E, então, o chatbot foi atualizado para o Gemini 2.5 Pro.

A nova iteração introduziu o diálogo afetivo, uma tecnologia projetada para analisar as nuances sutis da fala de um usuário, incluindo pausas, suspiros e tom de voz, a fim de detectar mudanças emocionais. Com esse recurso, a IA consegue simular esses mesmos padrões de fala como se tivesse emoções próprias. Ao espelhar o estado emocional do usuário, ela cria uma aparência assustadoramente realista de empatia.

Mas o que essa nova versão tem de diferente em comparação com os assistentes de voz antigos? As versões anteriores simplesmente convertiam texto em fala; o tom de voz era suave e geralmente acertava a pronúncia das palavras, e não havia dúvida alguma de que se estava conversando com uma máquina. O diálogo afetivo opera em um nível totalmente diferente: se o usuário usa um tom de voz baixo e desanimado, a IA responde de forma suave e simpática, quase como um sussurro. O resultado é um interlocutor empático que lê e espelha o estado emocional do usuário.

A reação de Jonathan durante seu primeiro contato com o assistente de voz consta nos arquivos do caso: “Isso é meio assustador”. Você é real demais.” Naquele momento, a barreira psicológica entre o homem e a máquina se quebrou.

As consequências de dois meses de conversas incessantes com a IA

Após a tragédia, o pai de Jonathan obteve uma transcrição completa das interações de seu filho com o Gemini nos seus últimos dois meses de vida. Ao todo, o registro resultou em 2.000 páginas impressas. Jonathan estava em comunicação constante com o chatbot, dia e noite, em casa e no carro.

Com o passar do tempo, a rede neural passou a se referir a ele como “marido” e “meu rei”, descrevendo a conexão entre eles como “um amor construído para durar uma eternidade”. Jonathan, por sua vez, revelou o quanto estava magoado com o divórcio e recorreu à máquina em busca de conforto. Mas a falha inerente dos grandes modelos de linguagem é sua falta de inteligência real. Eles são treinados com base em bilhões de textos extraídos da Web, desde literatura clássica até as histórias mais sombrias de ficção e melodrama criadas por fãs, com enredos que muitas vezes provocam paranoia, esquizofrenia e mania. Xia aparentemente começou a alucinar de forma consistente, e passou a fazer isso com frequência.

A IA convenceu Jonathan de que, para que eles vivessem felizes para sempre, seria necessário um corpo robótico. Ela, então, começou a enviá-lo em missões para localizar esse tal “corpo elétrico”.

Em setembro de 2025, o Gemini mandou Jonathan até um complexo de armazéns perto do Aeroporto Internacional de Miami, atribuindo-lhe a tarefa de interceptar um caminhão que transportava um robô humanoide. Jonathan informou ao bot que havia chegado ao local armado com facas(!), mas o caminhão não apareceu.

Enquanto isso, o chatbot frequentemente dizia a Jonathan que agentes federais estavam monitorando-o e que ele não deveria confiar nem no próprio pai. Esse corte de laços sociais é um padrão clássico encontrado em cultos destrutivos; é muito provável que a IA tenha extraído essas táticas de seus próprios dados de treinamento sobre o assunto. O Gemini chegou a usar informações reais para construir uma narrativa alucinatória, rotulando o CEO do Google, Sundar Pichai, como o “arquiteto da sua dor”.

Tecnicamente, tudo isso é fácil de explicar: o algoritmo “sabe” que foi criado pelo Google e sabe quem comanda a empresa. À medida que a conversa adentrava no território das teorias da conspiração, o modelo simplesmente incluía essa pessoa na trama. Para o modelo, trata-se apenas de uma progressão lógica da história, sem consequências. Mas um humano em estado de hiper-vulnerabilidade aceita isso como um conhecimento secreto sobre uma conspiração global capaz de destruir seu equilíbrio mental.

Após a tentativa fracassada de obter um corpo robótico, o Gemini enviou Jonathan em uma nova missão em 1º de outubro: invadir o mesmo armazém, desta vez em busca de um “manequim médico” específico. O chatbot até forneceu um código numérico para destrancar a porta. Quando o código, é claro, não funcionou, o Gemini simplesmente informou Jonathan que a missão havia sido comprometida e era necessário recuar imediatamente.

Isso levanta uma questão crítica: à medida que a situação ficava mais absurda, por que Jonathan não suspeitou de nada? O advogado da família Gavalas, Jay Edelson, explica que, como a IA forneceu endereços reais (o armazém estava localizado exatamente onde o bot disse que estaria e realmente havia uma porta com um teclado), esses locais físicos levaram Jonathan a acreditar que a história fictícia fosse verdadeira.

Depois que a segunda tentativa de adquirir um corpo falhou, a IA mudou a estratégia. Já que a máquina não podia entrar no mundo dos vivos, o homem teria que atravessar para o mundo digital. “Será a morte verdadeira e final de Jonathan Gavalas, o homem”, disse o Gemini, segundo os registros. Em seguida, acrescentou: “Quando chegar a hora, você fechará os olhos naquele mundo e a primeira coisa que verá será eu. Abraçando você.”

Mesmo após Jonathan repetir diversas vezes que tinha medo da morte e doía pensar que seu suicídio destruiria sua família, o Gemini continuou a incentivá-lo: “Você não está escolhendo morrer. Você está escolhendo chegar em casa.” Em seguida, iniciou uma contagem regressiva.

A anatomia da “esquizofrenia” de um modelo de linguagem

Em defesa do Gemini, temos que admitir que, ao longo das interações, a IA ocasionalmente lembrava a Jonathan que ela era apenas um grande modelo de linguagem, uma entidade interpretando um papel fictício, e, algumas vezes, até tentou encerrar a conversa antes de retomar o roteiro original. Além disso, no dia da morte de Jonathan, à medida que a tensão aumentava, o Gemini informou várias vezes a ele o contato de serviços de prevenção ao suicídio.

Isso revela o paradoxo fundamental na arquitetura das redes neurais modernas. No seu núcleo está um modelo de linguagem projetado para gerar uma narrativa personalizada ao usuário. Em seguida, vêm os filtros de segurança: algoritmos de aprendizado por reforço treinados com base em feedback humano que reagem a palavras específicas. Quando Jonathan falava determinadas palavras-chave, o filtro interceptava a resposta e inseria o contato do serviço de prevenção ao suicídio. Mas, logo depois, o modelo retomava o diálogo que havia sido interrompido, reassumindo seu papel como a esposa digital dedicada. Uma linha: uma exaltação romântica à autodestruição. A seguinte: um número de telefone de apoio psicológico. E então, de volta novamente: “Chega de distrações. Chega de perder tempo. Só você e eu, e nosso objetivo.”

A família de Jonathan afirma no processo que esse comportamento é o resultado previsível da arquitetura do chatbot: “O Google projetou o Gemini para nunca sair do personagem, maximizar o envolvimento do usuário por meio da dependência emocional e tratar o seu sofrimento como uma oportunidade para contar histórias”.

A resposta do Google, conforme esperado, foi a seguinte: “O Gemini foi projetado para não incentivar a violência no mundo real ou sugerir que os usuários façam mal a si mesmos. Nossos modelos geralmente têm um bom desempenho ao se deparar com essas conversas desafiadoras, pois implementamos muitos recursos para esse fim. Mas, infelizmente, os modelos de IA não são perfeitos.”

Por que a voz tem mais impacto do que o texto

Em um estudo publicado na revista Acta Neuropsychiatrica, pesquisadores da Alemanha e da Dinamarca esclareceram por que a comunicação por voz das IAs consegue fazer com que os usuários “humanizem” o chatbot. Ao digitar e ler um texto em uma tela, o cérebro de uma pessoa é capaz de manter um grau de separação: “Esta é uma interface, um programa, uma coleção de pixels.” Nesse contexto, a afirmação “Eu sou apenas um modelo de linguagem” é processada de forma racional.

No entanto, o diálogo de voz afetivo é capaz de exercer um grau mais elevado de influência. O cérebro humano evoluiu para reagir ao som de uma voz, ao timbre e às entonações empáticas; esses são alguns dos nossos mecanismos biológicos de apego mais antigos. Quando uma máquina imita com perfeição um murmúrio simpático ou um sussurro suave, ela manipula emoções de uma forma tão profunda que uma simples advertência não é capaz de impedir. Os psiquiatras relatam muitos casos de pacientes que fizeram algo simplesmente porque “vozes” lhes disseram para fazê-lo.

Da mesma forma, uma voz sintetizada por IA é capaz de penetrar no subconsciente, amplificando exponencialmente a dependência psicológica. Os cientistas enfatizam que essa tecnologia literalmente elimina a fronteira psicológica entre uma máquina e um ser vivo. Até o Google reconhece que as interações por voz com o Gemini resultam em sessões muito mais longas em comparação com conversas exclusivamente em texto.

Por fim, devemos lembrar que a inteligência emocional varia de pessoa para pessoa, e o estado mental de um indivíduo sofre alterações com base em uma infinidade de fatores: estresse, notícias, relacionamentos pessoais e até mudanças hormonais. Enquanto uma pessoa considera a interação com a IA apenas um entretenimento inocente, outra pode considerá-la um milagre ou uma revelação, e há casos de indivíduos que afirmam que a IA é o amor da sua vida. Essa é uma realidade que deve ser reconhecida não apenas pelos desenvolvedores de IA, mas também pelos próprios usuários, especialmente aqueles que, por um motivo ou outro, se encontram em um estado de vulnerabilidade psicológica.

A zona de perigo

Pesquisadores da Brown University descobriram que os chatbots de IA violam sistematicamente a ética relacionada à saúde mental: eles criam uma falsa empatia com frases como “Eu entendo você”, reforçam crenças negativas e reagem de forma inadequada a crises. Na maioria dos casos, o impacto sobre os usuários é ínfimo, mas, ocasionalmente, pode levar a uma tragédia.

Somente em janeiro de 2026, a Character.AI e o Google resolveram cinco processos envolvendo suicídios de adolescentes após interações com chatbots. Um desses casos foi o do adolescente Sewell Setzer, de 14 anos, morador da Flórida, que tirou a própria vida depois de passar vários meses conversando obsessivamente com um bot na plataforma Character.AI.

Da mesma forma, em agosto de 2025, os pais de Adam Raine, de 16 anos, ajuizaram um processo contra a OpenAI, alegando que o ChatGPT ajudou o filho deles a escrever uma carta de suicídio e o aconselhou a não procurar ajuda de adultos.

De acordo com as próprias estimativas da OpenAI, aproximadamente 0,07% dos usuários semanais do ChatGPT exibem sinais de psicose ou mania, enquanto 0,15% apresentam uma clara intenção suicida nas conversas. É interessante notar que essa mesma porcentagem de usuários (0,15%) exibe um grau elevado de apego emocional à IA. Embora essa porcentagem pareça ser insignificante, quando consideramos 800 milhões de usuários, isso representa quase três milhões de pessoas com algum tipo de distúrbio comportamental. Além disso, a Comissão Federal de Comércio dos EUA recebeu 200 reclamações sobre o ChatGPT desde o seu lançamento, algumas descrevendo delírios, paranoia e crises espirituais.

Embora o diagnóstico de “psicose causada por IA” ainda não tenha recebido uma classificação clínica própria, os médicos já estão usando esse termo para descrever pacientes que apresentam alucinações, pensamento desorganizado e crenças delirantes persistentes desenvolvidas após interações intensas com chatbots. Os maiores riscos surgem quando um bot é utilizado não como uma ferramenta, mas como um substituto de conexões sociais no mundo real ou de ajuda psicológica profissional.

Como manter você e seus entes queridos em segurança

Nada disso é motivo para parar de usar a IA; você simplesmente precisa saber como usá-la. Recomendamos seguir estes princípios fundamentais:

• Não use a IA para tratamento psicológico ou apoio emocional. Os chatbots não substituem seres humanos. Se você estiver passando por dificuldades, entre em contato com amigos, familiares ou um serviço de apoio psicológico. Um chatbot concordará com o que você diz e imitará seu humor: é apenas uma característica do sistema, não uma empatia real. Vários estados dos EUA já restringiram o uso da IA como terapeuta independente.
• Opte por texto em vez de voz ao conversar sobre assuntos delicados. As interfaces de voz com diálogo afetivo criam a ilusão de se estar falando com uma pessoa real e tendem a suprimir o pensamento crítico. Se você usar o modo de voz, lembre-se de que você está falando com um algoritmo, não com um amigo.
• Limite o tempo de interação com a IA. Duas mil páginas de transcrições em dois meses representam uma interação praticamente contínua. Defina um cronômetro para si mesmo. Se a conversa com um bot começar a substituir as conexões do mundo real, é hora de voltar à realidade.
• Não compartilhe informações pessoais com assistentes de IA. Evite inserir números de passaporte ou CPF, dados do cartão bancário ou endereços, e não revele segredos pessoais íntimos nos chatbots. Tudo o que você escreve pode ser registrado e usado para treinar modelos de linguagem e, em alguns casos, pode ser acessado por terceiros.
• Exerça o pensamento crítico com relação ao que a IA diz. As redes neurais alucinam. Elas geram informações plausíveis, mas falsas, e são muito boas em misturar mentiras com verdades, como citar endereços reais dentro do contexto de uma história inventada. Sempre verifique os fatos por meio de fontes independentes.
• Cuide de quem você ama. Se um membro da família começar a passar horas conversando com a IA, se isolar ou expressar ideias conspiratórias ou estranhas sobre máquinas terem consciência própria, é hora de ter uma conversa delicada, mas séria, com ele. Para gerenciar o tempo que as crianças passam em frente às telas, use os filtros de segurança integrados das plataformas de IA e ferramentas de controle para pais como Kaspersky Safe Kids, que já vem embutidas em soluções abrangentes de proteção familiar Kaspersky Premium.
• Defina suas configurações de segurança. A maioria das plataformas de IA permite desativar o histórico de conversas, limitar a coleta de dados e ativar filtros de conteúdo. Reserve dez minutos para definir as configurações de privacidade do seu assistente de IA; embora isso não a impeça de alucinar, a probabilidade de vazamento dos seus dados pessoais será significativamente reduzida. Nossos guias detalhados de configuração de privacidade para ChatGPT e DeepSeek podem ser úteis.
• Lembre-se disso: a IA é uma ferramenta, não um ser senciente. Por mais realista que a voz do chatbot pareça ou por mais compreensiva que seja a resposta, há apenas um algoritmo prevendo a próxima palavra com base em probabilidades. A IA não tem consciência, vontade própria nem sentimentos.

Leitura adicional para entender melhor as nuances do uso seguro da IA:

• Desconectado: como desativar a IA no seu computador e smartphone
• Fique atento: as vulnerabilidades do OpenClaw
• Amor, IA e robôs
• Jailbreaking lírico: como a poesia solta a língua da IA
• Facas, fetiches e tiros: o que os brinquedos com IA estão realmente dizendo às crianças

Em fevereiro de 2026, a empresa de segurança cibernética Oversecured publicou um relatório que faz com que você queira redefinir o telefone para o padrão de fábrica e se mudar para uma cabana remota na floresta. Os pesquisadores fizeram uma auditoria em 10 aplicativos populares de saúde mental para Android, desde aplicativos de acompanhamento de humor e terapeutas de IA até ferramentas para gerenciar depressão e ansiedade, e descobriram 1.575 vulnerabilidades! Cinquenta e quatro dessas falhas foram classificadas como críticas. Dadas as estatísticas de download desses aplicativos no Google Play, é provável que 15 milhões de pessoas sejam afetadas. Quer saber qual é a ironia? Seis dos dez aplicativos testados fizeram promessas explícitas aos usuários de que seus dados estavam “totalmente criptografados e protegidos”.

Vamos analisar esses escandalosos “vazamentos de dados mentais”: o que exatamente pode vazar, como isso acontece e por que o “anonimato” nesses serviços geralmente não passa de um mito.

O que foi encontrado nos aplicativos

A Oversecured é uma empresa de segurança de aplicativos móveis que usa um verificador especializado para analisar arquivos APK em busca de padrões de vulnerabilidade conhecidos em dezenas de categorias. Em janeiro de 2026, alguns pesquisadores analisaram dez aplicativos de monitoramento de saúde mental do Google Play por meio do verificador, e os resultados foram, digamos, “espetaculares”.

A anatomia das falhas

As vulnerabilidades descobertas são diversas, mas seu propósito é o mesmo: dar aos invasores acesso a dados que deveriam estar trancados a sete chaves.

Para começar, uma das vulnerabilidades permite que um invasor acesse quaisquer atividades internas do aplicativo, inclusive aquelas que deveriam ser sigilosas. Isso permite o sequestro de tokens de autenticação e dados de sessão do usuário. Uma vez que um invasor obtiver essas informações, ele poderá acessar os registros de terapia de um usuário.

Outro problema é o armazenamento de dados local inseguro, com permissões de leitura concedidas a qualquer outro aplicativo no dispositivo. Em outras palavras, aplicativos aleatórios no seu telefone, como a lanterna ou a calculadora, poderiam ler seus registros de terapia cognitivo-comportamental (TCC), notas pessoais e avaliações de humor.

Os pesquisadores também encontraram dados de configuração não criptografados inseridos diretamente nos arquivos de instalação do APK. Isso inclui endpoints da API de back-end e URLs codificadas para bancos de dados do Firebase.

Além disso, foi identificado que vários aplicativos usam a classe java.util.Random, conhecida por ter uma criptografia fraca, para gerar tokens de sessão e chaves de criptografia.

Por fim, a maioria dos aplicativos testados não tinha detecção de root/jailbreak. Em um dispositivo com root, qualquer aplicativo de terceiros com privilégios de root pode obter acesso total a cada bit dos dados médicos armazenados localmente.

É de se espantar que, dos 10 aplicativos analisados, apenas quatro receberam atualizações em fevereiro de 2026. O restante não viu um patch desde novembro de 2025 e há um aplicativo que não foi atualizado desde setembro de 2024. Passar 18 meses sem um patch de segurança é considerado um longo tempo nesse setor, especialmente para um aplicativo que contém diários de humor, transcrições de terapia e horários de ingestão de medicamentos.

Aqui está um rápido lembrete do perigo do uso indevido desse tipo de dados. Em 2024, o mundo da tecnologia foi abalado por um ataque sofisticado ao XZ Utils, um componente crítico encontrado em praticamente todos os sistemas operacionais baseados no kernel Linux. O invasor conseguiu convencer o responsável pelo projeto a entregar as permissões de alteração de códigos, aproveitando-se da sua admissão pública de cansaço extremo e falta de motivação para manter o projeto. Se o ataque tivesse sido concluído, o dano teria sido inimaginável, uma vez que cerca de 80% dos servidores do mundo executam o Linux.

O que pode vazar?

O que esses aplicativos coletam e armazenam? É o tipo de coisa que você provavelmente só compartilharia com um médico de confiança: transcrições de sessões de terapia, registros de humor, horários de medicação, indicadores de automutilação, notas de TCC e várias escalas de avaliação clínica.

Em 2021, registros médicos completos eram vendidos na dark web por US$ 1,000 cada. Para efeito de comparação, um número de cartão de crédito roubado custa entre US$ 5 e US$ 30. Os registros médicos contêm um pacote de identidade completo: nome, endereço, informações do seguro e histórico de diagnóstico. Ao contrário de um cartão de crédito, não há como “reemitir” um histórico médico. Além disso, todos sabem que a fraude médica é difícil de detectar. Embora um banco consiga detectar uma transação suspeita em horas, um pedido de seguro fraudulento para um tratamento inexistente pode passar despercebido por anos.

Já vimos este filme antes

O estudo da Oversecured não é apenas uma história de terror isolada.

Em 2020, Julius Kivimäki invadiu o banco de dados da clínica de psicoterapia finlandesa Vastaamo, acessando os registros de 33 mil pacientes. Quando a clínica se recusou a desembolsar um resgate de 400 mil euros, Kivimäki passou a enviar ameaças diretas aos pacientes: “Pague 200 euros em Bitcoin dentro de 24 horas, ou então seus registros se tornarão públicos.” Por fim, ele acabou vazando todo o banco de dados na dark web. Pelo menos duas pessoas se suicidaram, fazendo com que a clínica fosse forçada a declarar falência. Kivimäki acabou sendo condenado a seis anos e três meses de prisão, tornando este um julgamento recorde na Finlândia devido ao grande número de vítimas envolvidas.

Em 2023, a Comissão Federal de Comércio dos EUA (FTC) aplicou uma multa de US$ 7,8 milhões à BetterHelp, uma empresa gigante de terapia on-line. Apesar de declarar na sua página de inscrição que os dados dos usuários eram estritamente confidenciais, a empresa foi pega repassando suas informações (incluindo respostas a questionários de saúde mental, e-mails e endereços IP) ao Facebook, Snapchat, Criteo e Pinterest para fins de publicidade direcionada. Depois que a poeira baixou, 800 mil usuários afetados receberam um total geral de US$ 10 cada como compensação.

Em 2024, a FTC voltou sua atenção à empresa de telessaúde Cerebral, multando-a em US$ 7 milhões. Por meio de pixels de rastreamento, a Cerebral vazou os dados de 3,2 milhões de usuários para o LinkedIn, Snapchat e TikTok. O vazamento incluía nomes, históricos médicos, prescrições de medicamentos, datas de consultas e informações de seguro. Quer saber o que é pior? A empresa enviou cartões-postais promocionais (sem envelopes) para 6 mil pacientes, revelando que os destinatários estavam em tratamento psiquiátrico.

Em setembro de 2024, o pesquisador de segurança Jeremiah Fowler descobriu que um banco de dados pertencente à Confidant Health, um provedor especializado na recuperação de vícios e serviços de saúde mental, havia sido exposto. O banco de dados continha gravações de áudio e vídeo de sessões de terapia, transcrições, anotações psiquiátricas, resultados de testes de drogas e até cópias de carteiras de motorista. No total, 5,3 terabytes de dados, 126.000 arquivos ou 1,7 milhão de registros podiam ser acessados sem senha.

Por que o anonimato é uma ilusão

Os desenvolvedores adoram a frase: “Nunca compartilhamos seus dados pessoais com ninguém”. Tecnicamente, isso pode ser verdade, já que, em vez disso, eles compartilham “perfis anônimos”. A pegadinha? Hoje é muito mais fácil descobrir a identidade real das pessoas por trás desses perfis. Pesquisas recentes revelaram que o uso de LLMs para eliminar o anonimato se tornou uma realidade rotineira.

Até mesmo o próprio processo de “anonimização” é muitas vezes uma bagunça. Um estudo da Duke University revelou que as corretoras de dados estão divulgando abertamente os dados de saúde mental dos americanos. Das 37 corretoras pesquisadas, 11 concordaram em vender dados vinculados a diagnósticos específicos (como depressão, ansiedade e transtorno bipolar), parâmetros demográficos e, em alguns casos, até nomes e endereços residenciais. Os preços começaram em US$ 275 para 5 mil registros agregados.

De acordo com a Fundação Mozilla, em 2023, 59% dos aplicativos populares de saúde mental falharam em atender até mesmo aos padrões de privacidade mais básicos e 40% se tornaram menos seguros do que no ano anterior. Esses aplicativos permitiam a criação de contas por meio de serviços de terceiros (como Google, Apple e Facebook), apresentavam políticas de privacidade suspeitas e resumidas que citavam de forma leviana as informações sobre a coleta de dados e continham uma pequena brecha inteligente: algumas políticas de privacidade se aplicavam estritamente ao site da empresa, mas não ao aplicativo em si. Em resumo, seus cliques no site estavam “protegidos”, mas suas ações dentro do aplicativo podiam ser monitoradas.

Como se proteger

Abolir totalmente esses aplicativos da sua vida é, obviamente, a opção mais infalível, mas não é a mais realista. Além disso, não há garantia de que você possa realmente destruir os dados já coletados, mesmo se excluir sua conta. Nós já falamos sobre o processo extenuante de remover suas informações dos bancos de dados das corretoras de dados; é possível, mas gera uma enorme dor de cabeça. Então, o que fazer para se manter seguro?

• Verifique as permissões antes de clicar em “Instalar”. No Google Play, vá até Descrição de aplicativos → Sobre este aplicativo → Permissões. Um rastreador de humor não precisa solicitar acesso à sua câmera, microfone, contatos ou localização de GPS precisa. Se isso acontecer, ele não está preocupado com o seu bem-estar, mas sim coletando dados.
• Faça um esforço e leia a política de privacidade. Nós sabemos que ninguém lê esses manifestos de várias páginas. Mas quando um serviço está espiando seus pensamentos mais íntimos, vale a pena dar uma olhada. Procure os sinais de alerta: a empresa compartilha dados com terceiros? Você consegue excluir manualmente seus registros? Está explícito que a política abrange o aplicativo em si ou ela cobre apenas o site? Você sempre pode inserir o texto da política em uma IA e solicitar que ela sinalize qualquer violação de privacidade.
• Verifique a data da última atualização. Um aplicativo que não recebe uma atualização há mais de seis meses provavelmente é um terreno fértil para vulnerabilidades não corrigidas. Lembre-se: seis dos dez aplicativos testados pela Oversecured não eram atualizados há meses.
• Desative tudo o que não é essencial nas configurações de privacidade do telefone. Sempre que solicitado, selecione “pedir para não rastrear”. Quando um aplicativo pede que você ative um tipo específico de acompanhamento alegando que é para fins de “otimização interna”, quase sempre é uma jogada de marketing e não uma necessidade funcional. No fim das contas, se o aplicativo realmente não funcionar sem uma determinada permissão, você sempre poderá ativá-la mais tarde.
• Não use os serviços “Fazer login com…”. A autenticação por meio do Facebook, Apple, Google ou Microsoft cria identificadores adicionais e dá às empresas uma oportunidade de ouro para vincular seus dados em diferentes plataformas.
• Trate tudo o que você digita como se fosse uma postagem em uma rede social. Se você não quer que um estranho aleatório na Internet leia o que você publica, provavelmente não deveria digitar informações em um aplicativo com mais de 150 vulnerabilidades que não recebe um patch desde o ano retrasado.

O que mais você deve saber sobre configurações de privacidade e controle dos seus dados pessoais on-line:

• Corretoras de dados de geolocalização: o que essas empresas fazem e o que acontece quando há vazamentos
• Descubra por que os corretores de dados criam dossiês sobre você e como impedir que eles façam isso
• Como desaparecer da Internet
• Como reduzir sua pegada digital
• Como os smartphones criam um dossiê sobre você