Antes de colocar um modelo de triagem comercial em produção, a equipe precisa declarar a matriz de custos de falso positivo e de falso negativo, varrer os limiares no mesmo conjunto rotulado e escolher o ponto de corte que minimiza o custo esperado. A comparação entre modelos candidatos deve ocorrer nesse mesmo conjunto, com a mesma régua. Precisão não é receita, e um score alto não é, por definição, probabilidade calibrada. O procedimento serve para decidir onde cortar a fila de contatos, não para prometer incremento de vendas.
O que a matriz de confusão permite calcular
Para cada limiar, o modelo transforma scores em classes. O material do Google sobre limiares descreve essa conversão: acima do corte, o caso vai para a classe positiva; abaixo, para a negativa. A matriz de confusão organiza quatro resultados: verdadeiro positivo (TP), falso positivo (FP), falso negativo (FN) e verdadeiro negativo (TN). O total de cada linha dá os previstos positivos e negativos; o de cada coluna, os positivos e negativos reais.
Com os custos declarados pelo gestor, o custo esperado de um limiar é C_FP × FP + C_FN × FN (ou uma versão por caso). O material do Google sobre classificação afirma que a métrica mais significativa depende da tarefa, do custo de diferentes erros de classificação e de o conjunto ser equilibrado ou desequilibrado. Também mostra que precisão e recall costumam ter relação inversa: ao subir o limiar, em geral caem os falsos positivos e sobem os falsos negativos. Por isso, escolher pelo F1 ou pela precisão isolada não responde à pergunta comercial. O material sobre limiares explica que o score de probabilidade não é a realidade nem a verdade fundamental.
Exemplo hipotético: dois limiares, dois custos
Considere um conjunto rotulado hipotético de 200 oportunidades, com 60 positivas reais e 140 negativas reais. O gestor declara que um falso positivo custa R$ 80 (esforço de contato desperdiçado) e um falso negativo custa R$ 300 (oportunidade qualificada não atendida). No limiar A, a matriz resulta em TP=40, FP=20, FN=20 e TN=120. No limiar B, TP=35, FP=5, FN=25 e TN=135.
Custo esperado de A: 20×80 + 20×300 = R$ 7.600. Custo de B: 5×80 + 25×300 = R$ 7.900. A precisão de A é 40/60 ≈ 0,667 e o recall é 40/60 ≈ 0,667, com F1 ≈ 0,667. B tem precisão 35/40 = 0,875, recall 35/60 ≈ 0,583 e F1 = 0,700. B tem F1 maior, mas custo esperado maior. Pela matriz de custos, o limiar A é a escolha. O exemplo é análise editorial, não resultado de um teste real.
Quando a conclusão não vale
O resultado vale para o conjunto rotulado e para os custos informados. Se o custo de um falso negativo subir ou o de um falso positivo cair, o ponto de corte pode mudar. O material sobre limiares adverte que um corte de 0,5 não é boa ideia quando o custo de um erro é maior que o do outro ou quando as classes são desequilibradas. O material sobre classificação observa que, com poucos negativos reais, a taxa de falsos positivos fica volátil; nesse caso, a precisão pode ser mais estável para avaliar o efeito dos falsos positivos. A comparação entre modelos só é válida no mesmo conjunto rotulado; trocar a população, a janela ou a definição de positivo invalida a conta. O procedimento não prova receita incremental, não calibra o score e não garante desempenho fora da população rotulada.
Fontes
- Classification: Accuracy, recall, precision, and related metrics
- Thresholds and the confusion matrix
Para aprofundar
- Como Definir Orçamento de YouTube Ads Baseado em Custo por Ação Real
- O Custo do Caos: Como Falta de Integração Está Matando a Eficiência Comercial
Sinal / IA & Tecnologia. Texto produzido com auxílio de IA e revisão editorial automatizada.
