Capítulo 8. Olha para os dados: A tua arma secreta
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
Já abordámos a importância de ter métricas específicas para o teu negócio e um processo sistemático para as medir e rever.
Neste capítulo, gostaria de partilhar uma experiência recente que destaca uma lição crucial para os projectos de IA:
Não há nada que substitua o exame dos teus dados em primeira mão.
Recentemente, estive a trabalhar com uma empresa que automatiza funções de RH, como o recrutamento e a integração. A sua equipa de engenharia tinha desenvolvido um conjunto de avaliação com várias métricas para medir o desempenho da IA. Uma métrica em particular chamou-me a atenção: a distância de ediçãoentre o e-mail gerado pela IA e a versão final do recrutador. Caso nunca tenhas ouvido falar, a distância de edição é uma medida da semelhança entre dois textos. Esta métrica pareceu-me ser uma boa métrica - é específica do negócio e pode ser medida sistematicamente.
A equipa tinha descoberto que a distância média de edição entre os e-mails gerados pela IA e a versão final do recrutador era de 12%. Parecia ser um bom resultado, mas a equipa estava a ter dificuldades com a adoção pelos utilizadores. Descobriu-se que a métrica estava a esconder uma falha crítica.
Olha para os dados em bruto
Na minha experiência, a melhor forma de compreender uma métrica é olhar para os dados em bruto. Pode parecer simples, mas ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access