O que está acontecendo
Viés algorítmico é quando um modelo produz resultados desproporcionalmente negativos para grupos protegidos — gênero, raça, origem, idade, deficiência — sem que isso tenha sido programado.
Acontece por dados de treino com viés histórico, por features proxy (CEP pode ser proxy de raça em contextos brasileiros, score de crédito pode ser proxy de gênero em contextos de renda informal), e por ausência de teste de equidade antes do go-live.
O modelo aprende que certos perfis têm mais risco — e o histórico diz isso porque certos perfis tiveram acesso mais restrito ao crédito. O ciclo se auto-confirma.
Por que isso é problema do CFO
A intenção não importa para o regulador. O resultado importa. Uma empresa que nega crédito de forma desproporcionalmente discriminatória responde pela discriminação — independente de ter sido intencional.
Uma empresa que não testou viés não pode provar que não existe viés. Em auditoria regulatória, ausência de teste é equivalente a ausência de controle — e a exposição é a mesma que se o viés fosse confirmado.
O EU AI Act proíbe sistemas de alto risco com viés discriminatório em crédito, emprego, educação. A proibição não exige prova de dano — exige prova de ausência de viés.
O que acontece quando isso vai para auditoria
O regulador vai pedir: resultados do modelo segmentados por grupo demográfico. Se a disparidade for significativa e não houver justificativa objetiva, você tem infração.
Em litígio: a parte que alega discriminação algorítmica não precisa provar intenção. Precisa provar resultado desproporcionalmente negativo. O ônus de provar que o modelo é justo é da empresa.
Em auditoria de conformidade (ISO 42001, EU AI Act): ausência de teste de equidade documentado é não conformidade — mesmo que o modelo não esteja discriminando.
Impacto financeiro estimado
Litígio coletivo por discriminação algorítmica: valores crescentes. Casos nos EUA chegaram a acordos de centenas de milhões de dólares. No Brasil, a base legal (LGPD Art. 6º, CDC) existe.
Multa EU AI Act: até €35 milhões por sistema de alto risco com viés confirmado. Soma às multas de outras regulações que podem aplicar simultaneamente.
Custo de remediação: re-treinamento + nova validação + nova auditoria + comunicação de risco. Estimativa: R$ 500k a R$ 2M dependendo da escala do modelo.
O que fazer
- Antes do go-live: rodar análise de disparate impact nos resultados do modelo por grupo demográfico relevante
- Documentar os resultados — não para provar que é perfeito, mas para mostrar que foi avaliado com critério
- Estabelecer limiar aceitável de disparidade e revisão obrigatória se ultrapassado
- Identificar e remover ou transformar features proxy conhecidas no contexto brasileiro
- Incluir teste de equidade como critério obrigatório de validação — sem teste documentado, modelo não vai para produção
"Se você não testou, você não sabe. E se você não sabe, não pode provar — ao regulador, ao juiz, ao auditor — que o modelo não discrimina."