George Orwell imaginou, em 1984, uma sociedade na qual o poder não se contentava em governar aquilo que as pessoas faziam publicamente. O Estado desejava saber onde estavam, com quem falavam, o que diziam e, finalmente, o que pensavam. Quando o romance foi publicado, em 1949, construir uma estrutura semelhante exigiria uma quantidade quase inconcebível de funcionários, arquivos, investigadores e operadores. O “Grande Irmão” precisava de olhos humanos. O século XXI está eliminando essa limitação, e uma notícia divulgada em 10 de setembro ajuda a compreender por que a comparação com Orwell deixou de ser apenas uma metáfora literária.
Um relatório de inteligência de ameaças da Anthropic revelou casos nos quais atores ligados a governos utilizaram seus modelos de inteligência artificial para tornar operações de vigilância mais eficientes, incluindo coleta e análise de informações e identificação de pessoas de interesse. Entre os casos relatados aparecem operações relacionadas à China, Irã e Mali, com alvos que incluíam dissidentes, jornalistas, ativistas e figuras políticas. A empresa afirma ter bloqueado contas envolvidas e reforçado salvaguardas. O ponto mais inquietante, entretanto, não é que uma determinada plataforma tenha sido utilizada dessa maneira, mas aquilo que o episódio demonstra sobre a transformação da própria vigilância: tarefas que anteriormente exigiam grande quantidade de trabalho humano podem ser aceleradas, organizadas e analisadas por inteligência artificial.
A tentação seria concluir que o problema está na tecnologia. Não está. Câmeras de segurança realmente encontram criminosos; leitores automáticos de placas realmente podem localizar veículos roubados; reconhecimento facial pode ajudar a encontrar desaparecidos; inteligência artificial pode identificar fraudes e ameaças; sistemas financeiros digitais tornam transações mais rápidas e seguras; bancos de dados integrados podem melhorar serviços públicos. Seria intelectualmente desonesto negar os benefícios dessas ferramentas simplesmente porque também podem ser utilizadas de maneira abusiva. A questão central é precisamente mais difícil: aquilo que torna uma tecnologia extraordinariamente eficiente para proteger o cidadão é, muitas vezes, exatamente aquilo que a torna extraordinariamente eficiente para controlá-lo.
Essa ambiguidade aparece com impressionante clareza no debate americano sobre leitores automáticos de placas. Dados reunidos pela Axios indicam cerca de 140 mil leitores instalados nos Estados Unidos. Sua finalidade pode parecer incontestável quando utilizados para localizar carros roubados ou pessoas procuradas, mas a mesma infraestrutura capaz de encontrar um veículo criminoso também pode reconstruir os deslocamentos de uma pessoa inocente. A diferença entre proteção e vigilância não está necessariamente na câmera instalada sobre a rua; está em quem acessa seus dados, quais perguntas podem ser feitas ao sistema, por quanto tempo as informações permanecem armazenadas e, sobretudo, quem amanhã será classificado como alguém que merece ser monitorado.
É aqui que surge uma das lições mais desconfortáveis da história: sistemas de controle raramente são apresentados à população como sistemas de controle. Eles normalmente chegam como respostas a problemas reais. Terrorismo justifica novas ferramentas de segurança; criminalidade justifica monitoramento; fraude justifica identificação; epidemias podem justificar rastreamento; desinformação pode justificar supervisão de conteúdo; ameaças estrangeiras podem justificar coleta de dados; proteção infantil pode justificar verificação de identidade. Cada argumento pode conter razões legítimas, e exatamente por isso a expansão do sistema encontra pouca resistência enquanto a sociedade confia nas pessoas que o administram.
O verdadeiro teste ocorre quando mudam aqueles que controlam a máquina.
Uma democracia pode construir uma infraestrutura tecnológica sob leis relativamente protetivas, imaginando que essas salvaguardas permanecerão para sempre. Entretanto, governos mudam, maiorias políticas mudam, conceitos jurídicos mudam e aquilo que uma geração considera exercício legítimo de liberdade pode ser classificado por outra como ameaça à ordem pública. A câmera permanece instalada. O banco de dados continua existindo. A identificação biométrica permanece cadastrada. A infraestrutura financeira continua conectada. O algoritmo continua capaz de cruzar informações. O que muda é a pergunta feita ao sistema.
Essa talvez seja a parte mais importante da notícia envolvendo a inteligência artificial. O relatório não sugere apenas que governos possam acumular mais informações, mas que a IA pode tornar mais eficiente o processo de transformá-las em inteligência operacional. Um regime não precisa necessariamente colocar um agente seguindo cada dissidente se sistemas automatizados puderem ajudar a organizar enormes volumes de informação e apontar conexões, comportamentos ou indivíduos relevantes. A Anthropic afirma que as operações identificadas não precisaram sequer dos modelos mais poderosos disponíveis, enquanto seu responsável por inteligência de ameaças observa que a tecnologia torna determinadas atividades de vigilância estatal mais eficientes e econômicas.
É justamente aqui que 1984 precisa ser atualizado. Orwell imaginou telas observando cidadãos. Nossa época está construindo algo potencialmente mais sofisticado: sistemas que não precisam apenas assistir. Eles podem procurar, comparar, classificar e relacionar.
Isso altera profundamente a relação entre indivíduo e poder porque o problema histórico da vigilância sempre foi escala. Uma ditadura podia acompanhar cem opositores; talvez mil; com recursos extraordinários, dezenas de milhares. Acompanhar continuamente milhões de pessoas produzia um volume de informação impossível de processar. A inteligência artificial modifica essa equação porque não precisa substituir cada policial, investigador ou analista. Basta reduzir drasticamente o custo humano necessário para transformar oceanos de dados em informação utilizável.
Não precisamos imaginar uma conspiração mundial para perceber o risco. Pelo contrário, provavelmente a infraestrutura mais abrangente será construída de maneira fragmentada e com finalidades perfeitamente compreensíveis. Uma empresa desenvolve reconhecimento facial para segurança; outra cria identidade digital para evitar fraude; bancos aperfeiçoam mecanismos contra lavagem de dinheiro; governos integram cadastros para melhorar serviços; cidades instalam câmeras para reduzir criminalidade; plataformas analisam comportamento para detectar ameaças; sistemas de inteligência artificial aprendem a processar tudo isso. Nenhum desses atores precisa estar construindo conscientemente um “Grande Irmão”. O resultado preocupante pode surgir simplesmente quando tecnologias originalmente independentes se tornam interoperáveis e alguém percebe que aquilo que foi criado para administrar uma sociedade também pode ser utilizado para discipliná-la.
É por isso que o argumento “quem não deve não teme” sempre foi insuficiente. Ele pressupõe que permanecerá constante a definição de quem “deve”. A história mostra exatamente o contrário. Dissidentes de hoje podem ser heróis amanhã, enquanto opiniões perfeitamente legais em uma época podem tornar-se perseguidas em outra. Jornalistas, minorias religiosas, opositores políticos e movimentos sociais frequentemente descobriram que o problema não era terem cometido crimes, mas terem se tornado inconvenientes para quem possuía autoridade.
A questão torna-se ainda mais séria quando vigilância se aproxima da economia. Uma sociedade cada vez menos dependente de dinheiro físico permite extraordinária conveniência, mas também torna transações cada vez mais identificáveis e intermediadas. Novamente, isso não significa que cartão, Pix, reconhecimento facial, identidade digital ou inteligência artificial sejam instrumentos malignos. O perigo está na arquitetura de poder que pode surgir quando identidade, movimentação, comunicação e capacidade econômica tornam-se suficientemente conectadas para que uma decisão administrativa produza consequências imediatas sobre a vida de uma pessoa.
É nesse ponto que a discussão ultrapassa Orwell e encontra Apocalipse 13.
João descreve um sistema no qual autoridade religiosa, poder político e coerção econômica finalmente convergem, chegando ao ponto em que a fidelidade exigida pelo sistema interfere na possibilidade de comprar e vender. O texto não diz que a tecnologia constitui a marca da besta, nem oferece qualquer fundamento para identificar chips, inteligência artificial, reconhecimento facial ou pagamentos digitais como a própria marca. O centro da profecia continua sendo adoração, autoridade e lealdade. A tecnologia aparece em nossa análise apenas porque o mundo moderno está construindo meios pelos quais uma futura coerção dessa natureza poderia tornar-se administrativamente possível.
Essa distinção é decisiva. O perigo profético não está na existência de uma câmera, mas no poder que determina quem ela deve procurar; não está no banco de dados, mas na autoridade que decide quais pessoas devem ser classificadas; não está no sistema financeiro digital, mas na possibilidade de alguém estabelecer quem pode permanecer nele; não está na inteligência artificial, mas na estrutura moral e política que definirá quais comportamentos ela deverá identificar.
Apocalipse 13 torna essa questão ainda mais perturbadora porque a segunda besta não surge inicialmente com aparência monstruosa. Ela possui chifres semelhantes aos de um cordeiro. Na leitura historicista, essa potência representa os Estados Unidos, uma nação cuja experiência histórica foi profundamente associada à limitação do poder estatal e à liberdade religiosa, ainda que sua própria história revele graves contradições entre esses ideais e sua prática. A transformação profética não ocorre porque o cordeiro desenvolve tecnologia, mas porque finalmente fala como dragão. O problema não é possuir poder. É a maneira como esse poder passa a ser exercido.
Isso ajuda a compreender por que devemos ter cuidado inclusive com iniciativas das quais gostamos. É fácil defender instrumentos extraordinários quando imaginamos que serão utilizados contra terroristas, criminosos, traficantes, fraudadores ou pessoas que consideramos perigosas. A verdadeira defesa da liberdade começa quando perguntamos se aceitaríamos entregar exatamente os mesmos instrumentos a um governo radicalmente contrário às nossas convicções. Se a resposta for não, então o problema nunca esteve apenas nas intenções de quem ocupa o poder hoje, mas na quantidade de poder que estamos tornando disponível para quem poderá ocupá-lo amanhã.
O paradoxo do nosso tempo é que talvez ninguém precise construir deliberadamente o Ministério da Verdade, a Polícia do Pensamento ou o Grande Irmão imaginados por Orwell. Podemos construir as peças separadamente, cada uma acompanhada por um benefício concreto e uma justificativa razoável, até descobrirmos que a sociedade possui uma infraestrutura que nenhum regime autoritário do século XX poderia sequer sonhar em administrar.
O relatório divulgado agora funciona, portanto, como uma pequena janela para um problema muito maior. A inteligência artificial já está sendo experimentada em operações relacionadas à vigilância de dissidentes, jornalistas e outros alvos políticos. Isso não significa que todas as aplicações de IA caminhem para repressão, muito menos que democracias estejam inevitavelmente destinadas a transformar-se em ditaduras. Significa apenas que uma barreira tecnológica está caindo: o controle de grandes populações está se tornando mais barato, mais rápido e mais automatizável.
Talvez a grande pergunta para nossa geração não seja se desejamos segurança, porque naturalmente desejamos, nem se devemos utilizar tecnologia para proteger pessoas, porque seria absurdo abrir mão de benefícios legítimos. A pergunta é quanto poder estamos dispostos a concentrar para obter essa proteção e quais garantias permanecerão quando aqueles que controlam os sistemas deixarem de compartilhar nossos valores.
Em 1984, o Grande Irmão precisava construir uma sociedade inteira para observar o cidadão.
Nós estamos construindo a infraestrutura por razões muito melhores.
E talvez seja justamente por isso que precisamos prestar tanta atenção ao que poderá ser feito com ela depois.
Não é sobre prever eventos. É sobre entender o ambiente.
