O que está acontecendo
IT General Controls foram desenhados para sistemas determinísticos: o mesmo input sempre gera o mesmo output. O controle pode ser testado de forma binária — funciona ou não funciona.
Sistemas de ML são diferentes por natureza: o mesmo input pode gerar outputs diferentes conforme o modelo evolui, o comportamento muda com o tempo (drift), e a relação entre input e output não é transparente.
Auditores SOX especializados estão começando a checar se os ITGC de clientes contemplam ML. A maioria não contempla. A lacuna existe mas ainda não foi identificada — o que significa que vai aparecer no próximo ciclo.
Por que isso é problema do CFO
O CFO assina a certidão SOX 302. Certidão com lacuna de ITGC em sistema financeiro com ML é certidão com deficiência material potencial.
ITGC cobre quatro domínios: controle de acesso, gestão de mudanças, operações de TI, e desenvolvimento de sistemas. Todos esses domínios têm implicações diferentes quando o sistema tem componentes de ML.
O que o ITGC precisa cobrir para ML
- Controle de acesso: quem pode alterar parâmetros ou re-treinar o modelo? O acesso ao modelo é segregado do acesso aos dados?
- Gestão de mudanças: mudanças no modelo — nova versão, re-treinamento — seguem o mesmo processo de aprovação que mudanças no sistema?
- Operações: o modelo tem monitoramento de performance? Existe alerta configurado para degradação?
- Desenvolvimento: novos modelos passam por validação antes de entrar em produção? Existe ambiente de homologação separado?
O que acontece quando isso vai para auditoria
Lacuna de ITGC identificada pelo auditor SOX é achado. Dependendo da materialidade do sistema afetado, pode ser achado significativo — com comunicação obrigatória ao comitê de auditoria.
Auditores que encontram uma lacuna de ITGC em ML tendem a expandir o teste para outros sistemas financeiros com ML. O achado inicial pode se multiplicar.
O que fazer
- Mapear quais sistemas financeiros têm componentes de ML — ERP, sistema de crédito, sistema de fraude, projeções financeiras
- Para cada componente: verificar se os controles ITGC existentes contemplam as especificidades de ML (versionamento de modelo, aprovação de re-treinamento, monitoramento de performance)
- Documentar as adaptações necessárias em linguagem de controle — não em linguagem técnica
- Testar as adaptações antes da próxima auditoria — não apresentar controles novos que nunca foram testados
- Comunicar proativamente ao auditor: "identificamos a lacuna e implementamos esses controles adicionais" é melhor posição do que o auditor descobrir sozinho
"O problema não aparece no uso. Aparece na auditoria. E o auditor SOX especializado em ML está chegando — você tem um ciclo para se preparar."