IA generativa no Microsoft Azure (Portuguese Edition)

Apêndice A. Métricas de desempenhode IA

Esta seção contém todas as métricas quantitativas de desempenho relevantes, incluindo aquelas para IA generativa (GenAI) no Azure, tanto no nível do modelo quanto no nível do sistema.

Desempenho do modelo de IA

Essas métricas estão diretamente relacionadas aos modelos de IA (veja a Tabela A-1), incluindo tarefas de classificação e regressão para aprendizado de máquina e Deep Learning, bem como outras métricas específicas para modelos de linguagem tradicionais e modernos. Elas são a base para avaliar o desempenho quantitativo tanto durante os testes preliminares quanto nas etapas de manutenção pós-produção.

Tabela A-1. Métricas de desempenho do modelode IA

Tipo de modelo de IA	Métrica	Intervalo de valores	Finalidade
Classificação	AUC-ROC (área sob a curva)	0 a 1 (quanto maior, melhor)	Mede o quão bem um modelo distingue entre classes
	Precisão	0 a 1 (quanto maior, melhor)	Mede a proporção de resultados positivos identificados corretamente em relação ao total de positivos previstos
	Recall	0 a 1 (quanto maior, melhor)	Mede a proporção de resultados positivos reais identificados corretamente
	Pontuação F1 (baseado em precisão e recall)	0 a 1 (quanto maior, melhor)	Equilibra precisão e recall para conjuntos de dados desequilibrados
	Pontuação F2 (com base na precisão e na recuperação)	0 a 1 (quanto maior, melhor)	Uma média ponderada de precisão e recall, dando mais importância ao recall e à identificação ...