A supervisão humana em IA: entre conformidade demonstrável e capacidade efetiva

[dropbox]T[/dropbox]oda lei pressupõe um sujeito, mas essa pressuposição adquire especial relevância quando o direito regula tecnologias capazes de modificar as próprias condições em que esse mesmo sujeito percebe, interpreta e decide. O Regulamento Europeu de Inteligência Artificial, o AI Act, exige que os sistemas de inteligência artificial de risco elevado sejam concebidos e desenvolvidos de modo a permitir supervisão humana efetiva durante sua utilização (art. 14.º, n.º 1). Prevê medidas destinadas a manter as pessoas responsáveis pela supervisão conscientes do risco de confiar automática ou excessivamente nos resultados do sistema — o chamado viés de automação (art. 14.º, n.º 4, alínea b) — e exige que essas pessoas possam decidir não utilizar o sistema, bem como desconsiderar, substituir ou reverter seus resultados (art. 14.º, n.º 4, alínea d). O artigo 26.º, n.º 2, determina, por sua vez, que os responsáveis pela implantação atribuam a supervisão humana a pessoas naturais com a competência, a formação, a autoridade e o apoio necessários.

O regulamento não deixa inteiramente indeterminadas as capacidades relevantes para essa função. O artigo 14.º especifica exigências cognitivas e operacionais relacionadas à compreensão das capacidades e limitações do sistema, à interpretação de seus resultados e à intervenção; os artigos 3.º, n.º 56, e 4.º definem e impõem o letramento em IA (ou literacia em IA, AI literacy) em termos de competências, conhecimentos e compreensão necessários à utilização informada. O problema aqui examinado não consiste, portanto, em afirmar que o direito ignora as capacidades humanas, mas em investigar a distância potencial entre a especificação normativa de uma função — ancorada em um sujeito epistêmico idealizado — e a demonstração de que existem condições efetivas para exercê-la em determinado contexto sociotécnico.

Como estabelecer que a supervisão humana corresponde a uma capacidade efetiva, contextualizada e sustentável, e não apenas à existência de procedimentos, treinamentos, registros ou atribuições formais? E, sobretudo, como distinguir uma supervisão que efetivamente permite reconhecer, contestar e corrigir resultados inadequados daquela cuja existência é demonstrada por evidências documentais que não capturam suficientemente essas operações?

A questão ultrapassa o domínio específico da inteligência artificial, remetendo a uma dificuldade estrutural dos regimes contemporâneos de auditoria, avaliação e responsabilização: a possibilidade de que os mecanismos destinados a demonstrar a realização de determinada finalidade passem a constituir, eles próprios, o principal objeto da atividade institucional. A conformidade pode tornar-se demonstrável sem que se demonstre, na mesma medida, a capacidade substantiva que a norma pretende assegurar.

Este artigo desenvolve uma análise teórico-jurídica interdisciplinar, articulando a crítica à sociedade de auditoria, os estudos sobre avaliação institucional, a reflexão sobre os limites normativos da mensuração e a teoria pragmatista da investigação. Seu argumento central é que a efetividade da supervisão humana não pode ser inferida exclusivamente da existência de estruturas formais de conformidade. Ela depende também das capacidades operacionais das pessoas responsáveis e das condições epistêmicas e organizacionais que tornam possível questionar resultados, examinar alternativas e revisar conclusões.

A contribuição proposta consiste em relacionar essas três dimensões e formular duas categorias analíticas: o intervalo de suspensão do fechamento inferencial, que designa a manutenção da abertura investigativa diante de uma resposta disponível, e a dívida epistêmica, que designa os custos diferidos, individuais e sistêmicos, que podem decorrer da delegação reiterada de operações constitutivas da investigação quando essa prática compromete as condições de reconhecimento e correção de seus próprios efeitos.

O argumento não pressupõe que a auditoria, a avaliação por indicadores ou a assistência generativa produzam necessariamente tais efeitos. A hipótese é condicional: em determinadas configurações institucionais e tecnológicas, mecanismos de conformidade podem deixar de representar adequadamente as capacidades que deveriam assegurar, enquanto práticas reiteradas de delegação podem modificar as condições em que os sujeitos formulam problemas e avaliam respostas. O objetivo é estabelecer distinções que permitam investigar essas possibilidades, identificar explicações concorrentes e avaliar suas implicações para a governança da IA.

Auditoria, avaliação institucional e definição da qualidade

Em The Audit Society: Rituals of Verification, Michael Power analisa a expansão das práticas de auditoria e a crescente centralidade dos mecanismos pelos quais organizações tornam suas atividades verificáveis. A auditoria desempenha funções essenciais de prestação de contas, controle e produção de confiança justificável. Sua existência, portanto, não constitui por si só um problema. A dificuldade emerge quando a produção de evidências de conformidade deixa de funcionar como meio para avaliar uma finalidade substantiva e passa a ser tratada como demonstração suficiente de sua realização.

Aplicada à governança da IA, essa perspectiva permite formular uma distinção entre evidências de que uma estrutura de supervisão foi instituída e evidências de que ela funciona adequadamente. A designação de responsáveis, a conclusão de treinamentos, a existência de protocolos e o registro de intervenções podem demonstrar aspectos relevantes da organização do trabalho. Não demonstram necessariamente, de maneira isolada, que a pessoa encarregada consegue reconhecer uma resposta inadequada, avaliar a plausibilidade de uma recomendação ou intervir diante de um resultado que pareça confiável, mas esteja errado.

Essa distinção não autoriza concluir que a documentação seja inútil ou que os mecanismos de auditoria sejam necessariamente ritualísticos. Documentos podem registrar intervenções efetivas, revelar falhas e permitir a reconstrução de decisões. A questão é a relação entre o tipo de evidência produzido e a capacidade que se pretende demonstrar. Uma evidência pode ser válida para comprovar a existência de um procedimento sem ser suficiente para demonstrar o desempenho de quem deve executá-lo.

A teoria do Estado Avaliador, desenvolvida por Guy Neave no contexto das transformações da governança do ensino superior, oferece uma perspectiva complementar. Neave examina a crescente importância da avaliação institucional, dos resultados e da responsabilização por desempenho nas relações entre Estado e instituições, em um contexto no qual maior autonomia operacional pode coexistir com novas formas de regulação externa.

O interesse dessa contribuição para a governança da IA não consiste em equiparar a regulação universitária à regulação tecnológica. Consiste em identificar um problema institucional que pode atravessar diferentes domínios: a possibilidade de governar organizações mediante critérios de avaliação que orientam suas prioridades e induzem a reorganização das práticas em função daquilo pelo qual serão julgadas.

Quando o acesso a recursos, a legitimidade institucional ou a demonstração de desempenho dependem de critérios determinados, as organizações podem adquirir incentivos para otimizar aquilo que esses critérios tornam visível. Isso não significa que toda avaliação produza distorções. Significa que os efeitos de um sistema de avaliação dependem, entre outros fatores, da relação entre os indicadores utilizados, as finalidades institucionais e os comportamentos que a avaliação incentiva.

No contexto da IA, essa perspectiva permite investigar se organizações submetidas a exigências de conformidade privilegiam evidências facilmente documentáveis, como treinamentos concluídos, responsáveis formalmente designados e protocolos registrados, em detrimento de capacidades mais difíceis de observar, como a identificação de pressupostos inadequados, a avaliação independente de evidências e a disposição para suspender uma decisão aparentemente eficiente. Trata-se de uma hipótese sobre incentivos institucionais, não de uma conclusão empírica universal.

A relação entre avaliação e comportamento institucional também pode ser examinada a partir do conceito de reatividade às medidas. Espeland e Sauder mostram como medidas públicas, incluindo rankings, podem modificar os próprios ambientes e atores que pretendem representar. Uma medida não apenas descreve uma realidade: em determinadas condições, pode influenciar as práticas pelas quais essa realidade passa a ser produzida. Essa contribuição permite aprofundar a hipótese de que indicadores de conformidade em IA podem adquirir efeitos sobre a organização da supervisão, especialmente quando se tornam alvos de desempenho e não apenas instrumentos de avaliação.

A questão, nesse caso, não é se indicadores devem ser utilizados, mas se seus efeitos sobre as práticas são monitorados e se sua validade continua sendo examinada quando passam a orientar o comportamento institucional. Uma métrica concebida para indicar a existência de supervisão pode perder parte de sua capacidade informativa se a organização passa a otimizar diretamente o valor medido, sem assegurar as condições substantivas que justificavam sua utilização.

Gert Biesta acrescenta uma dimensão normativa a esse problema. Em Good Education in an Age of Measurement, o autor questiona a tendência de tratar a mensuração como se ela pudesse determinar, por si mesma, o significado da qualidade. Sua crítica não consiste em rejeitar a avaliação, mas em sustentar que a escolha do que deve ser valorizado não pode ser substituída pelos instrumentos disponíveis para medir resultados.

Na teoria de Biesta, a educação envolve dimensões distintas, embora relacionadas: qualificação, socialização e subjetivação. A primeira diz respeito à aquisição de conhecimentos e capacidades; a segunda, à inserção em ordens sociais, culturais e políticas; a terceira, à possibilidade de existir e agir como sujeito, sem que a formação se reduza à reprodução de competências ou à adaptação a expectativas previamente estabelecidas. Essas dimensões evidenciam que a qualidade de uma prática educativa não pode ser definida integralmente por uma medida isolada.

A transposição dessa crítica para a governança da IA exige cautela. Biesta não formula uma teoria da supervisão algorítmica, e suas categorias educacionais não devem ser transportadas diretamente para esse domínio. Sua contribuição para o presente argumento é mais delimitada: a mensuração pressupõe escolhas normativas sobre o que conta como resultado relevante, e essas escolhas precisam ser justificadas antes que os indicadores sejam tratados como representações adequadas da finalidade regulatória.

Se a supervisão humana for avaliada exclusivamente pela conclusão de treinamentos, pela frequência de intervenções ou pelo cumprimento de protocolos, corre-se o risco de confundir manifestações observáveis de desempenho com a capacidade de formular juízos independentes e contestar resultados. Uma taxa reduzida de intervenção, por exemplo, pode decorrer da elevada qualidade das respostas, de uma divisão adequada de tarefas ou de confiança excessiva. Sem evidências adicionais, o indicador não permite distinguir essas explicações.

A articulação entre Neave, Power, Espeland e Sauder e Biesta permite identificar três problemas analiticamente distintos: a orientação institucional por critérios externos de desempenho; a possibilidade de que mecanismos de verificação se autonomizem em relação às finalidades que deveriam servir; e a insuficiência normativa de indicadores incapazes de representar adequadamente a qualidade pretendida. Essa articulação não demonstra, por si só, que tais problemas ocorram em determinada organização de IA. Ela permite formular uma hipótese institucional: a conformidade observável pode deixar de representar adequadamente a capacidade substantiva quando os incentivos de avaliação favorecem a produção das evidências mais facilmente verificáveis.

Resta, contudo, uma questão específica da supervisão de sistemas generativos. Mesmo quando os mecanismos institucionais de avaliação são adequadamente concebidos, a própria interação tecnológica pode influenciar as condições em que o sujeito formula problemas, examina evidências e decide se uma resposta deve ser aceita ou contestada.

Investigação, suspensão do fechamento inferencial e supervisão humana

Em Charles S. Peirce, a dúvida genuína desempenha papel central na investigação, e a surpresa pode motivar a formação de hipóteses explicativas. Investigar não equivale simplesmente a receber uma explicação disponível. Envolve uma perturbação das expectativas, a formulação de hipóteses e o exame de suas consequências e de sua adequação à experiência.

A teoria peirceana oferece, assim, um ponto de partida para distinguir a disponibilidade de uma resposta da conclusão justificada de uma investigação. Uma explicação pode ser fluente, plausível e imediatamente útil sem que sua adequação esteja suficientemente estabelecida. A possibilidade de formular hipóteses, examinar alternativas e rever conclusões integra o processo pelo qual uma resposta pode ser avaliada, e não apenas recebida.

Proponho denominar intervalo de suspensão do fechamento inferencial a condição prática em que a disponibilidade de uma explicação não é tratada, por si só, como razão suficiente para encerrar a investigação. O conceito não designa uma etapa formalmente estabelecida por Peirce nem pretende substituir suas categorias de dúvida, abdução ou avaliação de hipóteses. Sua finalidade é tornar analiticamente visível a manutenção da abertura investigativa quando uma resposta candidata já está disponível e sua plausibilidade pode favorecer a aceitação prematura.

A categoria refere-se, portanto, menos a uma fase cronológica fixa do raciocínio do que a uma condição de exercício da investigação. Ela pode ser observada quando o sujeito reconhece que uma resposta não encerra necessariamente a questão, preserva alternativas relevantes, verifica pressupostos ou adia a aceitação conclusiva até que existam razões suficientes para decidir. Não implica que toda tarefa deva ser prolongada ou que toda resposta precise ser contestada. A suspensão do fechamento é pertinente quando a natureza da tarefa, a incerteza ou as consequências de um erro justificam investigação adicional.

A questão para a governança da IA é se determinadas formas de interação com sistemas generativos preservam essas condições ou se, em certos contextos, favorecem o encerramento prematuro da investigação. Sistemas que completam perguntas, formulam hipóteses e apresentam justificativas em linguagem fluente podem facilitar tarefas e ampliar capacidades. Podem também, em determinadas circunstâncias, reduzir as oportunidades de formular problemas autonomamente, comparar explicações ou identificar pressupostos que deveriam permanecer em aberto. O efeito depende da tarefa, do usuário, da interface, da qualidade da resposta e das condições organizacionais de utilização.

É importante distinguir a suspensão do fechamento inferencial de conceitos próximos. Ela não é idêntica à dúvida genuína de Peirce, pois pode ocorrer mesmo quando a dúvida inicial foi parcialmente resolvida e uma explicação plausível está disponível. Tampouco equivale à abdução, que diz respeito à formação de hipóteses explicativas. Seu objeto é a condição prática que permite manter aberta a investigação diante de uma hipótese ou resposta candidata. A utilidade da categoria depende de demonstrar que ela identifica uma dimensão analítica que não é suficientemente capturada pelas categorias existentes de investigação, confiança ou uso da automação.

A pesquisa empírica oferece razões para investigar possíveis efeitos da assistência generativa, mas não autoriza generalizações precipitadas. Doshi e Hauser observaram que a assistência por IA generativa podia aumentar determinadas avaliações de criatividade individual ao mesmo tempo que reduzia a diversidade coletiva das narrativas produzidas. O resultado é relevante para investigar efeitos de homogeneização dos produtos, mas não demonstra, por si só, redução da capacidade de investigação, da disposição para contestar resultados ou da qualidade da supervisão humana. A diversidade dos produtos não constitui uma medida direta da autonomia epistêmica de quem os produz.

A validade externa desse resultado para contextos profissionais e regulados também não pode ser presumida. É necessário investigar se efeitos observados em determinada tarefa se reproduzem em outras atividades, sob diferentes condições de uso e com diferentes consequências para a decisão. A assistência pode reduzir a diversidade em uma dimensão do resultado e, simultaneamente, melhorar a qualidade ou a amplitude da investigação em outra. A análise deve evitar tratar esses resultados como se fossem necessariamente contraditórios ou equivalentes.

A literatura sobre automação reforça a necessidade de distinguir mecanismos concorrentes. Parasuraman e Riley diferenciam formas de uso, mau uso, desuso e abuso da automação, mostrando que a relação entre pessoas e sistemas não pode ser reduzida a uma oposição simples entre utilização e ausência de utilização. O comportamento observado depende de fatores individuais, tecnológicos e organizacionais. Essa perspectiva ajuda a evitar que a aceitação de uma resposta seja interpretada automaticamente como confiança excessiva ou que a ausência de intervenção seja considerada, isoladamente, prova de supervisão inadequada.

Uma pessoa pode revisar menos uma resposta porque ela é efetivamente melhor; porque a tarefa não exige investigação adicional; porque está submetida à pressão temporal; ou porque passou a confiar excessivamente no sistema. Esses mecanismos podem coexistir e produzir comportamentos superficialmente semelhantes. Nenhuma medida isolada da frequência de revisão ou da duração de uma tarefa permite distingui-los.

O desafio consiste em definir um objeto de investigação capaz de tornar essas diferenças observáveis. Para tanto, a análise deve considerar não apenas o produto final, mas também as condições de formulação do problema, avaliação das evidências, consideração de alternativas e revisão da conclusão. A questão não é exigir um processo deliberativo máximo para toda utilização de IA, mas identificar as situações em que a natureza da tarefa e o risco de erro tornam a manutenção da abertura investigativa especialmente relevante.

Delegação do fazer, condições organizacionais e dívida epistêmica

A sociossemiótica da conflitualidade associada ao trabalho de Juan Alonso Aldama pode oferecer recursos para analisar como relações de tensão, distribuição do fazer e regimes de valor participam da organização das práticas. Sua utilização neste artigo não pressupõe uma transposição automática da teoria da interação política para a governança tecnológica. O objetivo é examinar se determinadas distinções semióticas ajudam a descrever formas de delegação que não são suficientemente capturadas pelas categorias de uso, confiança e supervisão.

Essa mobilização exige uma distinção entre operações executadas pela tecnologia e operações que participam da definição do próprio problema. Um sistema pode atuar como adjuvante, executando uma operação a serviço de um objetivo formulado pelo sujeito. Pode também participar da seleção das evidências, da formulação de hipóteses e da definição dos critérios pelos quais uma resposta será considerada suficiente. A diferença não reside apenas na quantidade de trabalho transferida, mas no tipo de operação delegada e nas consequências dessa delegação para o exercício do julgamento.

Essa distinção não implica uma oposição absoluta entre extensão e substituição. Um sistema pode ampliar determinadas capacidades e, simultaneamente, influenciar decisões que condicionam o exercício de outras. A autoridade formal para rejeitar um resultado pode subsistir mesmo quando as condições práticas para exercer essa autoridade se tornam insuficientes. Nesse caso, a supervisão pode existir no plano organizacional sem alcançar a efetividade exigida pelo artigo 14.º do AI Act.

A relação entre valor e realização prática também merece atenção. Uma organização pode declarar a contestação como valor institucional e, ainda assim, estruturar o trabalho de modo que questionar uma resposta seja custoso, demorado ou desestimulado. A existência de um protocolo de contestação não demonstra que contestar seja operacionalmente viável; a existência de uma métrica de intervenção não demonstra que ela corresponda à capacidade de julgar; e a declaração institucional de compromisso com a supervisão não demonstra que os trabalhadores disponham de tempo, informação e autoridade para exercê-la.

A distinção entre limiar e limite permite, por sua vez, formular uma hipótese sobre a normalização da delegação. Mudanças graduais podem atravessar sucessivos limiares sem produzir um acontecimento que leve à revisão consciente da prática. A aceitação de uma resposta, a redução de uma verificação ou a transferência de uma etapa da investigação podem parecer decisões isoladas e pouco significativas. Sua repetição pode, em determinadas condições, alterar as práticas habituais pelas quais o sujeito formula problemas e avalia resultados.

Essa possibilidade não deve ser confundida com uma consequência necessária da repetição. A familiaridade pode ampliar a competência de uso, reduzir esforços desnecessários e liberar recursos para atividades mais complexas. O problema surge quando a repetição modifica as condições de avaliação sem que essa transformação seja reconhecida ou examinada. A fluência reiterada das respostas, por exemplo, pode favorecer uma generalização indevida da confiança, embora fluência e confiabilidade não sejam equivalentes.

É nesse contexto que proponho o conceito de dívida epistêmica: o conjunto de custos diferidos, suportados pelo sujeito, pela equipe ou pela organização, que pode resultar da delegação reiterada de operações constitutivas da investigação quando essa prática reduz oportunidades de formular problemas, testar hipóteses ou revisar conclusões e, simultaneamente, dificulta a identificação e a correção dos efeitos da própria delegação.

A titularidade da dívida é, portanto, distribuída, mas não indiferenciada. No plano individual, ela pode manifestar-se como redução das oportunidades de exercício de determinadas operações investigativas ou como aumento da dificuldade de reconhecer limitações e reconstruir o percurso de uma decisão. No plano da equipe, pode envolver a concentração de competências em poucos membros, a perda de práticas compartilhadas de contestação ou a dificuldade de revisar coletivamente resultados aceitos de forma rotineira. No plano organizacional, pode traduzir-se em maior custo para identificar falhas, recuperar capacidades, reconstruir decisões ou modificar procedimentos que passaram a depender de resultados cuja adequação não é suficientemente examinada.

Esses níveis não são equivalentes e não devem ser agregados sem critérios. Uma dificuldade individual não demonstra, por si só, uma dívida sistêmica. Da mesma forma, uma fragilidade organizacional pode decorrer de incentivos, desenho do trabalho ou acesso insuficiente à informação, sem implicar perda de capacidade cognitiva individual. A análise precisa identificar quem suporta o custo, por qual mecanismo ele se produz e em que nível pode ser observado.

A expressão “dívida” indica que o custo pode não ser integralmente visível no momento em que a delegação ocorre. Uma operação pode ser transferida porque a resposta obtida é eficiente no presente, enquanto os custos de reconstruir uma decisão, identificar um erro recorrente ou recuperar uma prática de verificação só aparecem posteriormente. A dimensão cumulativa é central: o conceito não designa qualquer uso de tecnologia, mas a possibilidade de que a repetição de uma forma de delegação produza custos futuros e reduza os meios disponíveis para reconhecê-los.

A especificidade da dívida epistêmica reside, assim, em uma estrutura de retroalimentação. A delegação pode reduzir oportunidades de investigação; essa redução pode dificultar a identificação de efeitos problemáticos da própria delegação; e a dificuldade de identificação pode retardar a correção das práticas que geram o custo. O conceito não designa um efeito universal já demonstrado, nem equivale simplesmente à dependência tecnológica ou à perda de habilidades. Sua validade depende de mostrar que essa estrutura pode ser distinguida de outras explicações para dificuldades de supervisão.

A análise de Elish sobre as chamadas moral crumple zones oferece um ponto de comparação relevante para o nível sociotécnico. A autora examina como a responsabilidade moral pode concentrar-se em operadores humanos situados na linha de frente de sistemas complexos, mesmo quando seu controle efetivo sobre o funcionamento do sistema é limitado. Essa perspectiva não demonstra a existência de dívida epistêmica, mas permite identificar uma assimetria importante: a atribuição formal de responsabilidade não garante que o sujeito disponha das condições materiais e informacionais para exercê-la.

Essa assimetria é relevante para o AI Act. A obrigação de atribuir supervisão a pessoas naturais não pode ser interpretada como se a designação formal de um responsável resolvesse, por si só, o problema da efetividade. É necessário examinar se a pessoa tem acesso às informações relevantes, tempo para avaliar o resultado, autoridade para intervir e condições organizacionais que não penalizem indevidamente a contestação.

A dívida epistêmica pode, portanto, ser investigada tanto no nível das práticas individuais quanto no da organização. Se os mecanismos de avaliação privilegiam a presença de protocolos e a conformidade observável, podem deixar de identificar alterações nas condições efetivas de investigação. Se os indicadores passam a orientar as práticas sem que seus efeitos sejam examinados, podem contribuir para que a organização continue a demonstrar conformidade enquanto acumula custos que não são capturados pelos instrumentos utilizados.

Essa hipótese deve permanecer aberta à contestação. A existência de documentação não constitui evidência de ritualização por si só; a orientação por indicadores não demonstra necessariamente a subordinação das finalidades institucionais; e a delegação reiterada não implica inevitavelmente perda de capacidade. A questão empírica consiste em identificar quando e como esses mecanismos deixam de funcionar como instrumentos de garantia e passam a substituir, parcial ou integralmente, a avaliação substantiva que deveriam viabilizar.

Como distinguir conformidade, capacidade e condições epistêmicas

A articulação proposta permite formular três dimensões de avaliação da supervisão humana. Elas se relacionam, mas não são intercambiáveis.

A primeira é a conformidade procedimental. Trata da existência de responsabilidades atribuídas, protocolos, mecanismos de registro e procedimentos compatíveis com as obrigações aplicáveis. Sua avaliação permite verificar se a organização instituiu a estrutura necessária à supervisão, mas não demonstra, isoladamente, que essa estrutura funciona adequadamente.

A segunda é a capacidade operacional. Diz respeito à possibilidade de as pessoas responsáveis interpretarem os resultados, reconhecerem limitações relevantes, verificarem informações e intervirem em situações pertinentes à tarefa. Sua avaliação requer evidências adequadas ao contexto de utilização. A conclusão de um treinamento pode ser relevante, mas não substitui necessariamente a demonstração de desempenho em situações representativas dos riscos envolvidos.

A terceira corresponde às condições epistêmicas da supervisão. Examina se a arquitetura sociotécnica permite formular problemas, considerar alternativas, identificar pressupostos inadequados e rever conclusões, especialmente quando uma resposta parece plausível ou quando a decisão tem consequências relevantes. Essa dimensão não pressupõe a mensuração universal de uma suposta autonomia epistêmica. Seu objetivo é investigar se as condições concretas de trabalho preservam a possibilidade de contestação e revisão.

A distinção entre capacidade operacional e condições epistêmicas é especialmente importante. Uma pessoa pode executar corretamente um protocolo de verificação e, ainda assim, não dispor de tempo, informação ou autoridade para reabrir uma investigação. Inversamente, um contexto pode permitir contestação e revisão, mas as pessoas responsáveis podem não possuir a competência necessária para interpretar os resultados. A supervisão efetiva depende da relação entre essas condições, e não da presença isolada de uma delas.

Considere-se, a título ilustrativo, uma organização que utiliza IA para apoiar decisões administrativas. Ela mantém registros de treinamento, designa responsáveis e documenta as intervenções realizadas. Entretanto, os profissionais dispõem de pouco tempo para examinar casos atípicos, têm acesso limitado às informações que sustentam as recomendações e enfrentam incentivos para concluir processos rapidamente. Nesse cenário hipotético, a existência de procedimentos não demonstraria, por si só, a efetividade da supervisão. Seria necessário investigar se a dificuldade resulta de insuficiência de competência, de condições organizacionais inadequadas, de confiança excessiva ou de uma combinação desses fatores.

A avaliação deve considerar, portanto, a relação entre documentação, desempenho e condições de exercício da agência humana. A existência de procedimentos é necessária, mas sua adequação depende da capacidade de responder aos riscos específicos da tarefa. A demonstração de competência requer evidências pertinentes ao contexto, sem pressupor que um único teste represente todas as dimensões do julgamento. A análise das condições organizacionais deve considerar se tempo, acesso à informação, autoridade e incentivos tornam a intervenção efetivamente possível.

Essas dimensões também oferecem uma maneira de examinar a hipótese da dívida epistêmica. No plano individual, pode-se investigar se a delegação reiterada altera as oportunidades de formular problemas, avaliar evidências e revisar conclusões. No plano coletivo, pode-se observar se as práticas de contestação e revisão se concentram em poucos profissionais ou deixam de ser compartilhadas. No plano organizacional, pode-se examinar se os mecanismos de conformidade detectam custos de correção, dependências operacionais ou dificuldades recorrentes de reconstrução das decisões.

Essas possibilidades são linhas de investigação, não indicadores universais. Sua validade depende da tarefa, do risco, do contexto organizacional e das explicações concorrentes. A redução da verificação precisa ser distinguida da economia legítima de esforço; a aceitação de uma resposta, da confiança excessiva; e a diminuição do tempo de investigação, do encerramento prematuro. A análise deve identificar evidências que permitam discriminar essas possibilidades, em vez de presumir que comportamentos semelhantes têm causas idênticas.

Implicações normativas e condições de refutação

A consequência normativa da análise não é exigir que toda interação com IA produza registros adicionais ou que toda resposta seja submetida a uma verificação exaustiva. Uma obrigação documental indiscriminada poderia reproduzir o problema que pretende resolver, convertendo a supervisão em mais um ritual de conformidade. A proposta consiste em identificar, em função da tarefa e do risco, os pontos em que a delegação pode comprometer a capacidade de contestação ou revisão e determinar quais evidências são adequadas para avaliar essas condições.

A escolha de evidências deve permanecer subordinada à finalidade normativa da supervisão. A documentação pode ser necessária para reconstruir decisões e demonstrar a existência de mecanismos. A avaliação de desempenho pode revelar se as pessoas conseguem executar funções relevantes. O exame das condições organizacionais pode identificar barreiras à intervenção.

Nenhum desses elementos deve ser tratado, isoladamente, como demonstração completa de supervisão efetiva.

Essa orientação exige também reconhecer os limites da intervenção jurídica. O direito pode estabelecer deveres, exigir condições organizacionais e determinar mecanismos de responsabilização, mas não deve presumir que a mera atribuição de autoridade produza a capacidade necessária para exercê-la. Tampouco deve transformar uma hipótese sobre a cognição humana em presunção universal de dano. O problema é estabelecer condições para investigar, de maneira proporcional ao risco, se a arquitetura sociotécnica preserva a possibilidade de julgamento e intervenção humanos.

A proposta de avaliação em três dimensões não deve ser convertida em uma métrica universal de autonomia epistêmica. Isso reproduziria o problema criticado na articulação entre Neave, Power e Biesta: a transformação de uma finalidade complexa em objeto de mensuração que, posteriormente, pode passar a governar a própria prática. O objetivo é construir critérios contextualizados e justificáveis, combinando evidências quantitativas e qualitativas, avaliação de desempenho e exame das condições institucionais em que a supervisão ocorre.

A validade das categorias propostas depende, por fim, de sua capacidade de resistir à contestação. O intervalo de suspensão do fechamento inferencial será útil se permitir identificar uma condição investigativa que não seja suficientemente descrita pelas categorias existentes de dúvida, formação de hipóteses e avaliação de respostas. Se não produzir essa distinção, sua utilidade conceitual será limitada.

A dívida epistêmica será útil se permitir identificar custos diferidos da delegação, distinguir seus níveis individual, coletivo e organizacional e formular hipóteses empiricamente discrimináveis de explicações concorrentes. Se não for possível identificar quem suporta o custo, por qual mecanismo ele se produz e em que circunstâncias pode ser observado, o conceito corre o risco de permanecer uma metáfora sugestiva, mas analiticamente pouco precisa.

Do mesmo modo, a articulação entre auditoria, avaliação institucional e mensuração normativa deve demonstrar seu valor em contextos concretos, em vez de pressupor que toda avaliação produz necessariamente efeitos críticos. A hipótese será enfraquecida em situações nas quais os mecanismos de conformidade consigam demonstrar, de modo adequado e contextualizado, as capacidades pretendidas, sem induzir distorções relevantes ou ocultar custos de delegação.

Essas condições de refutação não reduzem a ambição do argumento. Ao contrário, delimitam o que ele pretende demonstrar e impedem que conceitos próprios se tornem explicações universais para qualquer falha de supervisão.

Conclusão: a supervisão humana como capacidade demonstrável

A articulação entre Neave, Power, Espeland e Sauder e Biesta permite situar a supervisão humana em uma arquitetura institucional na qual avaliação, verificação, incentivos e definição de qualidade se condicionam mutuamente. A contribuição da teoria pragmatista da investigação e das distinções semióticas mobilizadas no artigo consiste em examinar como essas estruturas se relacionam com as operações pelas quais as pessoas formulam problemas, avaliam respostas e decidem quando uma investigação deve permanecer aberta.

O intervalo de suspensão do fechamento inferencial procura tornar visível a condição prática de não tratar a disponibilidade de uma resposta como razão suficiente para encerrar a investigação. A dívida epistêmica procura identificar os custos diferidos, individuais e sistêmicos, que podem decorrer da delegação reiterada quando ela reduz oportunidades de investigação e dificulta o reconhecimento e a correção de seus próprios efeitos. Ambos os conceitos permanecem hipóteses analíticas cuja utilidade depende de sua capacidade de distinguir fenômenos, orientar observações e admitir contestação.

A contribuição para a governança da IA não consiste em afirmar que a assistência tecnológica necessariamente enfraquece a agência humana, nem em substituir a conformidade regulatória por uma exigência abstrata de autonomia. Consiste em demonstrar que a efetividade da supervisão não pode ser inferida apenas da existência de procedimentos ou da autoridade formal de um responsável. É necessário examinar a relação entre as estruturas de conformidade, as capacidades operacionais e as condições organizacionais e epistêmicas em que o julgamento é exercido.

O problema jurídico não é apenas saber se existe alguém formalmente autorizado a supervisionar um sistema. É saber se os mecanismos de avaliação conseguem demonstrar, sem confundir documentação com capacidade, desempenho mensurável com finalidade normativa ou autoridade formal com possibilidade efetiva de intervenção, que essa pessoa conserva condições para reconhecer quando a resposta disponível não encerra a investigação.

Superar a mera conformidade declarada exige mais do que políticas internas de papel. Exige uma avaliação técnica independente, capaz de examinar a arquitetura institucional da decisão diante de referenciais internacionais como a ISO/IEC 42001, de normas vigentes como o AI Act europeu e de marcos regulatórios em tramitação, a exemplo do Projeto de Lei n.º 2.338/2023 no Brasil.
A governança real não se presume; ela se demonstra por meio de evidências consistentes e proporcionais ao risco.

A supervisão humana efetiva não se comprova apenas pela existência de políticas, protocolos ou responsáveis formalmente designados. É necessário examinar se as pessoas têm condições reais de compreender, questionar e modificar decisões e se a organização consegue demonstrar que seus mecanismos de controle funcionam.

Essas questões estão no centro do trabalho do Instituto EthikAI, que desenvolve avaliações de governança e riscos de inteligência artificial, diagnósticos de prontidão regulatória e formação executiva para organizações públicas e privadas, preservando com rigor metodológico a distinção entre diagnóstico institucional, auditoria formal e certificação.

Para aprofundar o tema, acompanhe meus canais e conheça o trabalho do Instituto EthikAI em ethikai.org e paolacantarini.com.br.

________________
(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)