alinhar sem discutir é impor

o problema técnico de como alinhar uma inteligência artificial com valores humanos não é um problema técnico. é um problema de jurisdição disfarçado de problema de engenharia. o papa leão xiv publicou em 25 de maio de 2026 a primeira encíclica de seu pontificado, magnifica humanitas, e entre os parágrafos 95 e 111 está a crítica mais afiada do ano ao conceito. a indústria que diz se ocupar da segurança desses sistemas escolheu não lê-la assim, ou não lê-la.

o documento é notícia conhecida. o que a imprensa cobriu foram as manchetes: "o papa pede o desarmamento da inteligência artificial", "alerta sobre os efeitos em menores", "adverte que a ia desespecializa os trabalhadores". tudo isso está no texto. mas a substância mais incisiva está em outro lugar, no aparato conceitual que o papa constrói para falar do problema técnico que a indústria chama de alinhamento.

a encíclica, no parágrafo 107, diz o seguinte:

"não podemos nos limitar a invocar a moralização da máquina, o chamado 'alinhamento' da ia com os valores humanos, sem ter a coragem de impor uma condição ulterior: a possibilidade de discutir o código ético que deve ser usado, submetendo-o a critérios de justiça social compartilhada. caso contrário, quem controla a ia imporá sua própria visão moral, que se tornará a infraestrutura invisível dos sistemas. de nada serviria uma ia mais moral, se essa moral for decidida por uns poucos."

é isso que precisa ser observado.

o problema técnico que não é técnico

o problema do alinhamento, na conversa dominante do setor, é colocado assim: temos sistemas que aprendem a produzir respostas otimizando funções objetivo, e queremos garantir que essas funções objetivo correspondam ao que os seres humanos efetivamente valorizamos. o problema se torna agudo quando os sistemas são capazes o suficiente para tomar decisões em contextos abertos: contratação, crédito, diagnóstico, assistência jurídica, geração de conteúdo. se o sistema persegue uma versão mal especificada de "o que queremos", produz danos difíceis de reverter.

as empresas mais sérias do setor dedicam anos e bilhões a esse problema. existem linhas inteiras de pesquisa para refinar os procedimentos de treinamento, de modo que os modelos respondam em linha com um conjunto declarado de valores. uma dessas empresas chamou seu procedimento de ia constitucional: um conjunto explícito de princípios contra os quais o modelo se autoavalia durante o treinamento. a palavra constituição não é metafórica. é deliberada. propõe, com efeito, uma jurisdição.

a observação do papa não é contra o procedimento técnico. é sobre onde fica a pergunta política uma vez que o procedimento é aplicado. ele continua, no mesmo parágrafo:

"é necessária uma política mais presente, capaz de desacelerar onde tudo acelera e de proteger os espaços nos quais as comunidades podem continuar participando e se interrogando."

a ideia, traduzida sem liturgia: se você alinha um sistema com valores que você define, sem discussão pública sobre quais devem ser esses valores, você não resolveu um problema. você o deslocou para uma camada onde já não se pode discutir. a moral do sistema se torna infraestrutura, no sentido literal: a que está embaixo, a que sustenta, a que não se vê.

essa é uma crítica estrutural, não estética. e é a que a conversa pública sobre segurança da inteligência artificial sistematicamente evita.

a concessão epistêmica

antes de chegar à crítica do alinhamento, o papa concede algo no parágrafo 98 que a indústria minimiza quando pode:

"as inteligências artificiais modernas estão mais 'cultivadas' que 'construídas': os desenvolvedores não projetam diretamente cada detalhe, mas criam uma arquitetura sobre a qual a ia 'cresce'. em consequência, os aspectos científicos fundamentais —como as representações internas e os processos computacionais desses sistemas— continuam desconhecidos."

vale pausar na frase. ela é academicamente correta. qualquer pesquisador sério em interpretabilidade mecanicista a assina. o notável é que está em um documento do magistério, assinado pelo papa, apresentado na aula nova do sínodo em 25 de maio. o reconhecimento da incerteza epistêmica sobre as representações internas, dito a partir de roma, tem uma função política específica: tira o chão argumentativo de quem diz "sabemos o que estamos implantando".

a concessão importa porque a crítica do parágrafo 107 se apoia nela. se os sistemas são cultivados e ninguém entende por completo como processam internamente a informação, o procedimento de alinhamento opera sobre uma caixa parcialmente opaca. os valores que se "infundem" no sistema não são revisáveis do modo como se revisa uma lei. são revisáveis do modo como se revisa uma hipótese biológica: com evidência externa, testes, retroalimentação. são, em outras palavras, executáveis antes de serem deliberáveis.

isso muda a natureza da pergunta. a decisão sobre os valores não é um ato anterior à implementação. é um ato que se ratifica pela implementação. e a implementação, hoje, está nas mãos de um punhado de empresas privadas sediadas em dois países.

os monopólios cognitivos

o parágrafo 108 nomeia a assimetria sem eufemismos:

"como ocorre com todo grande avanço tecnológico, a ia tende a aumentar sobretudo o poder de quem já dispõe de recursos econômicos, competências e acesso aos dados. à luz do bem comum e do destino universal dos bens, esse fenômeno suscita séria preocupação: pequenos grupos muito influentes podem orientar informações e consumos, condicionar processos democráticos e incidir nas dinâmicas econômicas em benefício próprio, contradizendo a justiça social e a solidariedade entre os povos."

e, uma linha adiante, propõe algo concreto:

"a propriedade dos dados não pode ser confiada apenas ao setor privado, mas deve ser regulamentada. eles são fruto do aporte de muitos e não podem ser vendidos ou confiados a uns poucos."

isso é, em linguagem católica, propriedade coletiva da matéria-prima cognitiva da inteligência artificial. na doutrina social, o princípio se chama destino universal dos bens, e se aplica historicamente à terra e à água. aplicá-lo aos dados de treinamento é uma extensão deliberada, e rompe com a lógica de mercado que assume que quem coletou os dados tem direito a usá-los para construir os modelos que depois determinam condições de acesso a crédito, emprego e serviços.

o parágrafo seguinte, o 109, completa o movimento:

"em um mundo onde poucos sujeitos concentram dados, capital informático e capacidade normativa, falar de bem comum significa desmascarar essa nova assimetria epistêmica, econômica e política, nomeando os novos monopólios da ia."

"nomeando os novos monopólios" é a frase. não regulando, não auditando, não certificando: nomeando. a encíclica está pedindo, em termos simples, que o discurso público deixe de tratar essas empresas como infraestrutura neutra e comece a tratá-las como o que são.

o verbo que a indústria de segurança não usa

no parágrafo 110, leão xiv sublinha uma palavra e a marca como sua:

"gostaria, por fim, de usar uma palavra muito importante para mim: 'desarmar'. desarmar a ia significa subtraí-la à lógica da competição armamentista, que hoje já não é só militar, mas econômica e cognitiva. é a corrida pelo algoritmo mais eficaz e pelo banco de dados mais amplo, para consolidar uma vantagem geopolítica ou comercial sobre todos os demais. desarmar quer dizer romper essa equivalência entre poder tecnológico e direito a governar."

quando um papa sublinha um verbo, é deliberado. desarmar não é o mesmo que regular. regular assume uma infraestrutura legítima que se ordena em seus excessos. desarmar assume uma infraestrutura que é, em si, parte de uma corrida armada, e que deve ser subtraída a essa corrida antes que se possa usá-la.

o setor da segurança da inteligência artificial usa um vocabulário próprio: ajuste fino, avaliações, equipes vermelhas, parâmetros de referência, comitês de revisão. todo esse vocabulário assume que o problema é de ajuste, não de corrida. a encíclica nomeia que a própria corrida é o problema, e que o ajuste, sem desarmamento, é otimização dentro de uma dinâmica armada.

o parágrafo encerra com uma frase que vale ler devagar:

"por isso, não basta regulá-la; é necessário desarmá-la e torná-la acolhedora."

acolhedora. essa palavra está fora do léxico do setor. não aparece em nenhuma política de uso, em nenhum documento corporativo, em nenhuma agenda regulatória conhecida. é, no entanto, a palavra que o papa escolhe para descrever o estado ao qual a inteligência artificial deveria ser levada.

quem decide os valores que são executados em montevidéu

o parágrafo 95 já havia dito o que importa para qualquer um que viva fora de são francisco ou seattle:

"o controle das plataformas, das infraestruturas, dos dados e da capacidade de cálculo não é prerrogativa dos estados, mas de grandes atores econômicos e tecnológicos que, de fato, determinam as condições de acesso, as regras de visibilidade e as próprias possibilidades de participação."

e o parágrafo 5 da introdução já o havia dito antes:

"no passado, eram principalmente os estados que impulsionavam e orientavam a inovação. hoje, ao contrário, os principais motores do desenvolvimento são atores privados, frequentemente transnacionais, dotados de recursos e capacidade de ação superiores aos de muitos governos. o poder tecnológico adquire assim um rosto inédito, predominantemente 'privado', e por isso ainda mais difícil de discernir, governar e orientar para o bem comum."

os sistemas que tomam decisões automatizadas sobre crédito, contratação, moderação de conteúdo e assistência clínica no uruguai não foram alinhados com valores deliberados no uruguai. foram alinhados, no melhor dos casos, com valores deliberados em conselhos de ética de empresas norte-americanas. no pior, não foram alinhados com nada explícito e refletem os vieses estatísticos dos dados com os quais foram treinados, dados que tampouco foram coletados aqui.

a pergunta não é se esses valores são bons ou ruins. a pergunta é jurisdicional. quando um sistema treinado na califórnia decide que um pedido de crédito em montevidéu é de alto risco, ou que um currículo que menciona a udelar é menos competitivo que um que menciona o mit, ou que uma palavra em castelhano rio-platense indica toxicidade em um fórum, não estamos diante de um problema de segurança da inteligência artificial. estamos diante de um problema de soberania moral. o código ético do sistema foi decidido, nos termos do parágrafo 107, "por uns poucos". e esses poucos não vivem aqui.

o papa diz isso de forma mais simples no parágrafo 111, dirigindo-se diretamente a quem constrói os sistemas:

"os desenvolvedores carregam, portanto, um importante peso ético e espiritual, já que cada escolha de projeto expressa uma visão da humanidade."

cada escolha de projeto. cada decisão de rotular um dado, definir um parâmetro, configurar um comportamento padrão. cada uma dessas escolhas, distribuída entre milhares de pessoas em poucas empresas, está construindo a infraestrutura invisível com a qual milhões de pessoas em outros lugares interagem sem terem participado de seu desenho.

a reformulação

a conversa pública sobre segurança da inteligência artificial está mal colocada. assume que o problema é construir sistemas que se comportem como queremos. o papa, sem propor uma solução técnica, faz uma observação mais simples e mais incômoda: qualquer sistema, por mais bem comportado que esteja, executa os valores de quem o constrói. a pergunta urgente não é como alinhamos. é quem decide quais valores contam como alinhamento.

essa pergunta não se responde com melhores procedimentos de treinamento. responde-se com instituições que ainda não existem. e enquanto essas instituições não existirem, as decisões que se executam em sistemas usados em buenos aires, lima, lagos e manila continuam sendo tomadas em escritórios onde ninguém desses lugares jamais se sentou.

o documento mais interessante publicado neste ano sobre o problema do alinhamento foi escrito por um canonista nascido em chicago, que fez a maior parte de sua carreira no peru, citando santo agostinho e hannah arendt. não saiu em uma conferência de aprendizado de máquina. saiu em 25 de maio, na aula nova do sínodo, assinado poucos dias antes do aniversário de 135 anos da encíclica que em 1891 nomeou pela primeira vez a questão social. tem 110 páginas. tenho certeza de que o setor que diz se ocupar do problema ainda não a leu por inteiro ou a descartou como um texto irrelevante por sua procedência.

vale lê-la.

fontes:

[1] león xiv. magnifica humanitas, carta encíclica sobre la custodia de la persona humana en el tiempo de la inteligencia artificial. la santa sede, 15 de mayo de 2026 (publicada el 25). https://www.vatican.va/content/leo-xiv/es/encyclicals/documents/20260515-magnifica-humanitas.html

[2] dicasterio para la doctrina de la fe. presentación pública de la encíclica, aula nueva del sínodo, 25 de mayo de 2026. intervención del cardenal víctor manuel fernández.

[3] bai, yuntao et al. constitutional ai: harmlessness from ai feedback. arxiv:2212.08073, diciembre 2022.

[4] francisco. laudato si', §§101-114, sobre el paradigma tecnocrático. citado por magnifica humanitas §92.

[5] juan pablo ii. centesimus annus, §§31-48, sobre la propiedad colectiva de los bienes. citado por magnifica humanitas §108.