Na primeira parte desta série, discutimos como dados, tecnologia e conhecimento de negócio passaram a ocupar um papel cada vez mais relevante na prevenção à fraude. Também deixamos algumas perguntas em aberto: como saber se um modelo está capturando fraude suficiente? Como entender o impacto das decisões sobre clientes legítimos? E como transformar métricas em uma estratégia que faça sentido para o negócio?
Essas perguntas parecem simples, mas raramente podem ser respondidas por um único indicador. Cada métrica mostra uma parte diferente do problema e precisa ser analisada considerando o contexto da operação, o produto, o comportamento dos clientes e o apetite de risco da organização.
Essa leitura é bem importante em fraude porque os erros têm consequências diferentes. Deixar uma fraude passar pode gerar perda financeira e impacto reputacional, enquanto bloquear um cliente legítimo pode provocar abandono, contato no atendimento, perda de conversão e desgaste na experiência. A escolha das métricas, portanto, precisa acompanhar aquilo que a organização pretende proteger e o impacto que está disposta a absorver.
A armadilha da acurácia
Considere uma operação com 10 mil transações, sendo 9.900 legítimas e apenas 100 fraudulentas. Se um modelo classificasse todas como legítimas, teria 99% de acurácia. O percentual parece excelente, mas nenhuma fraude teria sido identificada.
Esse tipo de situação é comum em prevenção porque trabalhamos com bases bastante desbalanceadas: o volume de operações legítimas costuma ser muito superior ao de fraudes. Por isso, uma métrica agregada pode dar uma percepção positiva de performance sem mostrar como o modelo está se comportando nos casos que mais importam.
Para entender melhor esse comportamento, vamos usar um exemplo simples. Em uma base de 10 mil transações, existem 100 fraudes e 9.900 operações legítimas. O modelo recomenda o bloqueio de 120 transações: 80 são efetivamente fraudes e 40 pertencem a clientes legítimos. Entre as transações liberadas, 20 fraudes passam e 9.860 operações legítimas seguem normalmente.
A partir desse cenário, as métricas começam a responder perguntas diferentes.
Recall, Precision e FPR
O Recall mostra quanto conseguimos capturar entre todas as fraudes existentes. No exemplo, foram identificadas 80 das 100 fraudes, o que representa um Recall de 80%. Essa métrica ganha relevância principalmente quando aumentar a captura é uma prioridade, como durante ataques ou períodos de crescimento de perdas.
A busca por Recall, porém, pode trazer impacto para clientes legítimos dependendo da forma como o ponto de corte do modelo é ajustado. É por isso que ele precisa ser analisado junto com outras medidas.
A Precision ajuda a observar esse outro lado da decisão. Entre as 120 transações bloqueadas, 80 eram fraude, resultando em uma precisão de 66,7%. Em termos práticos, aproximadamente um terço das pessoas bloqueadas nesse exemplo era cliente legítimo. Essa relação ajuda a entender quanto de fricção estamos gerando para conseguir capturar os eventos fraudulentos.
Já a False Positive Rate, ou FPR, olha para toda a população legítima e mede quantos clientes foram impactados indevidamente. No exemplo, a taxa é de 0,4%. Em uma base pequena, o percentual parece pouco representativo, mas em operações com milhões de transações pode significar milhares de clientes submetidos a bloqueios ou validações adicionais. É por isso que taxas percentuais precisam sempre ser analisadas também em volume absoluto.
AUC e KS: olhar o modelo além de um único número
A Curva ROC permite observar a relação entre captura de fraude e falsos positivos em diferentes pontos de corte, enquanto a AUC resume a capacidade geral de discriminação do modelo ao longo dessa curva.
Ela é bastante útil para comparar modelos, desde que não seja lida de forma isolada. Imagine, por exemplo, dois modelos com AUC de 0,93 e 0,92. A diferença global parece pequena, mas, se a operação tolera pouquíssimos falsos positivos, pode existir uma diferença relevante justamente na região em que as decisões serão tomadas. Nesse caso, a performance naquela faixa específica importa mais para a estratégia do que a diferença observada na curva inteira.
O KS complementa essa análise ao mostrar o ponto de maior separação entre as distribuições de fraude e de clientes legítimos ao longo do score. Quanto melhor essa separação, maior a capacidade do modelo de ordenar corretamente os eventos de maior e menor risco.
Esse tipo de leitura ajuda tanto na comparação entre versões de modelos quanto na construção das faixas que depois serão utilizadas pela estratégia.
Do score para a decisão
Na operação, modelos normalmente não funcionam como uma resposta binária entre bloquear ou aprovar. O score serve como base para construir diferentes faixas de risco e definir qual ação será aplicada em cada uma delas.
Em bases muito grandes, essa granularidade faz diferença. Se uma operação processa 10 milhões de transações por dia, submeter 10% da base a alguma forma de fricção significa impactar 1 milhão de operações. Por isso, estratégias maduras costumam olhar com mais atenção para os extremos da distribuição, utilizando percentis menores para entender onde existe maior concentração de fraude.
Uma determinada faixa pode justificar uma ação mais restritiva, enquanto outras podem demandar biometria, autenticação adicional, análise manual ou simplesmente seguir com aprovação automática. A escolha depende da concentração de fraude, do volume envolvido, do produto e da tolerância ao risco.
Os percentis usados nessa análise também não devem ser interpretados como limites fixos. Um Top 0,1%, por exemplo, pode ter comportamento completamente diferente entre dois produtos ou segmentos. O valor está em entender como o risco se distribui dentro daquela população e qual resposta faz sentido para cada faixa.
Modelos precisam ser acompanhados ao longo do tempo
Fraude muda rapidamente. Os fraudadores observam controles, alteram comportamento, exploram novos canais e passam a combinar sinais de formas diferentes. Ao mesmo tempo, a população legítima também muda com o lançamento de produtos, novas jornadas, sazonalidades e alterações nos hábitos de consumo.
Por essa razão, a performance observada durante o desenvolvimento de um modelo pode se deteriorar ao longo do tempo. Monitorar Recall, Precision, FPR, distribuição dos scores, concentração de fraude por faixa, estabilidade das variáveis e performance por produto ou canal ajuda a identificar essas mudanças e orientar eventuais revisões.
O retreinamento também precisa considerar esse comportamento. Algumas operações podem trabalhar com ciclos periódicos, enquanto outras exigem gatilhos de revisão quando determinados indicadores começam a apresentar degradação.
Métricas acompanhando o contexto
O peso de cada métrica pode mudar conforme o momento da operação. Durante um ataque coordenado, a organização pode optar por aumentar a capacidade de captura e aceitar temporariamente um nível maior de fricção. Em períodos de maior estabilidade, a atenção pode se deslocar para falsos positivos, conversão e experiência dos clientes legítimos.
É essa leitura combinada que permite avaliar um modelo de maneira mais próxima da realidade da operação. Recall, Precision, FPR, AUC e KS ajudam a responder perguntas diferentes e, quando analisados em conjunto, mostram onde existe capacidade de captura, onde surgem impactos indesejados e quais ajustes podem ser feitos.
A qualidade de um modelo aparece na forma como ele sustenta decisões ao longo do tempo, acompanha mudanças no comportamento da fraude e mantém equilíbrio entre perdas, experiência e objetivos de negócio.
É esse acompanhamento que transforma a performance estatística em uma estratégia de prevenção aplicável à realidade da empresa. Espero que tenha agregado este conteúdo em 2 partes. Sigo nas redes sociais para trocarem! Até a próxima!
