Drift Silencioso — O Modelo que Está Errado Sem Avisar

O que está acontecendo

Drift de modelo acontece quando a distribuição dos dados de entrada muda — mercado, comportamento do cliente, sazonalidade — e o modelo continua usando os padrões antigos.

O sistema continua operando normalmente. Não aparece como erro. Não gera alerta de disponibilidade. Só que as decisões estão progressivamente piores.

Em crédito: inadimplência começa a subir. Em fraude: taxa de detecção cai. Em precificação: margem começa a comprimir. O modelo ainda está "funcionando" — só está errado.

Por que isso é problema do CFO

Drift não gerenciado impacta resultado financeiro antes de impactar qualquer relatório técnico. O CFO vai ver o efeito nos indicadores de negócio antes de alguém da TI perceber o problema no modelo.

Sem monitoramento de performance do modelo, não há como distinguir drift de variação de mercado. Você não sabe o que está causando a deterioração.

Em auditoria: modelo sem monitoramento documentado de performance é modelo sem controle. Para o BACEN e para auditores SOX, isso é achado independente do resultado do modelo.

O que acontece quando isso vai para auditoria

O auditor vai perguntar: como você monitorou a performance desse modelo nos últimos 12 meses? Se a resposta for "o sistema funciona normalmente", você tem achado.

Para o BACEN, modelo de crédito sem backtesting regular é risco de modelo não gerenciado. Para auditores SOX, modelo em sistema financeiro sem monitoramento documentado é controle inexistente.

Se o drift resultou em provisão insuficiente ou erro em demonstração financeira, a consequência pode ser reemissão — com todos os custos associados.

Impacto financeiro estimado

Modelo de crédito com drift de 6 meses não detectado: estimativa de impacto de 10% a 30% de aumento de inadimplência sobre a carteira afetada. Em carteira de R$ 100M, pode representar R$ 3M a R$ 10M de provisão adicional.

Modelo de fraude degradado: cada ponto percentual de queda na taxa de detecção representa fraudes não bloqueadas. O custo depende do volume de transações.

O que fazer

Definir métricas de desempenho de negócio para cada modelo crítico — não só métricas técnicas (acurácia), mas métricas de resultado (inadimplência, fraude bloqueada, conversão)
Estabelecer limiar de alerta: se a métrica cair X% em relação à baseline, o modelo entra em revisão obrigatória
Frequência mínima de revisão formal: trimestral para modelos críticos, semestral para os demais
Documentar a baseline no momento do go-live — sem baseline, não há referência para medir drift
Nomear quem monitora: AI Owner precisa receber os relatórios de performance e tem autoridade para acionar revalidação