Livro de receitas de aprendizagem automática com Python, 2ª edição

Capítulo 11. Avaliação de modelos

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

11.0 Introdução

Neste capítulo de examinaremos estratégias para avaliar a qualidade dos modelos criados através dos nossos algoritmos de aprendizagem. Pode parecer estranho discutir a avaliação de modelos antes de discutir como criá-los, mas há um método para a nossa loucura. Os modelos são tão úteis quanto a qualidade das suas previsões e, portanto, fundamentalmente, o nosso objetivo não é criar modelos (o que é fácil), mas criar modelos de alta qualidade (o que é difícil). Portanto, antes de explorarmos a miríade de algoritmos de aprendizagem, vamos primeiro aprender como podemos avaliar os modelos que eles produzem.

11.1 Modelos de validação cruzada

Problema

Pretendes avaliar a generalização do teu modelo de classificação a dados imprevistos.

Solução

Cria um pipeline que pré-processa os dados, treina o modelo e, em seguida, avalia-o usando a validação cruzada:

# Load libraries
from sklearn import datasets
from sklearn import metrics
from sklearn.model_selection import KFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler

# Load digits dataset
digits = datasets.load_digits()

# Create features matrix
features = digits.data

# Create target vector
target = digits.target

# Create standardizer
standardizer =