book

Resolução prática de entidades

by Michael Shearer

March 2025

Intermediate to advanced

198 pages

4h 52m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Read now

Unlock full access

Quem deve ler este livroPorque escrevi este livroComo navegar neste livroConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentos
O que é a resolução de entidades?Porque é que a resolução de entidades é necessária?Principais desafios da resolução de entidadesFalta de nomes únicosConvenções de nomenclatura inconsistentesInconsistências na captação de dadosExemplo de trabalhoOfuscação deliberadaCombina as permutaçõesCombinação às cegas?O processo de resolução de entidadesNormalização de dadosBloqueio de registosComparação de atributosClassificação dos jogosAgrupamentoCanonizaçãoExemplo de trabalhoMedição do desempenhoComeçar a trabalhar
Exemplo de problemaConfiguração do ambienteAquisição de dadosDados da WikipédiaDados TheyWorkForYouLimpeza de dadosWikipédiaElesTrabalhamParaTuComparação de atributosCircunscriçãoMedição do desempenhoCálculo de amostraResumo
Processa a correspondência de distânciasDistância de LevenshteinJaro SimilaridadeSimilaridade Jaro-WinklerCorrespondência fonéticaMetafoneAbordagem de classificação de jogosComparação das técnicasExemplo de problemaComparação total de semelhançasMedição do desempenhoResumo
Exemplo de problemaProbabilidade de correspondência de atributo únicoProbabilidade de correspondência do primeiro nomeÚltimo nome Probabilidade de correspondênciaProbabilidade de correspondência de atributos múltiplosModelos probabilísticosTeorema de Bayesm Valoru ValorLambda ( λ ) ValorFator de BayesModelo Fellegi-SunterPeso da partidaAlgoritmo de maximização da expetativaIteração 1Iteração 2Iteração 3Apresentando o SplinkConfigurando o SplinkDesempenho do SplinkResumo
Exemplo de problemaAquisição de dadosDados da WikipédiaDados da Companies House do Reino UnidoNormalização de dadosDados da WikipédiaDados da Companies House do Reino UnidoBloqueio de registos e comparação de atributosBloqueio de registos com o SplinkComparação de atributosClassificação dos jogosMedição do desempenhoResumo
Exemplo de problemaAquisição de dadosNormalização de dadosDados da Companies HouseDados da Agência Marítima e da Guarda CosteiraBloqueio de registos e comparação de atributosClassificação dos jogosMedição do desempenhoCorrespondência de novas entidadesResumo
Agrupamento de correspondência exacta simplesAgrupamento de correspondências aproximadasExemplo de problemaAquisição de dadosNormalização de dadosBloqueio de registos e comparação de atributosAnálise de dadosRegras de bloqueio de maximização de expectativasClassificação e agrupamento de correspondênciasVisualização de clustersAnálise de clustersResumo
Configuração do Google CloudConfigurar o armazenamento de projectosCriar um cluster DataprocConfiguração de um cluster DataprocResolução de entidades no SparkMedição do desempenhoTidy!Resumo
Introdução ao BigQueryAPI do gráfico de conhecimento empresarialMapeamento de esquemasTrabalho de reconciliaçãoProcessamento de resultadosCliente Python de Reconciliação de EntidadesMedição do desempenhoResumo

Uma Introdução à Intersecção de Conjuntos PrivadosComo funciona a PSIProtocolo PSI baseado na ECDHFiltros BloomConjuntos com código GolombExemplo: Utilização do processo PSIConfiguração do ambienteCódigo do servidorCódigo do clienteExemplo completo de MCA e Companies HouseResumo
Considerações sobre os dadosDados não estruturadosQualidade dos dadosEquivalência temporalComparação de atributosCorrespondência de conjuntosGeocodificação Correspondência de localizaçãoAgregação de comparaçõesPós-processamentoRepresentação gráficaConsiderações em tempo realAvaliação do desempenhoAbordagem paritáriaAbordagem baseada em clustersFuturo da resolução de entidades

Overview

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

A resolução de entidades é uma técnica analítica fundamental que te permite identificar vários registos de dados que se referem à mesma entidade do mundo real. Com este guia prático, os gestores de produtos, analistas de dados e cientistas de dados aprenderão a acrescentar valor aos dados através da limpeza, análise e resolução de conjuntos de dados utilizando bibliotecas Python de código aberto e APIs Cloud.

O autor Michael Shearer mostra-te como aumentar a escala dos teus processos de correspondência de dados e melhorar a precisão das tuas reconciliações. Poderás remover entradas duplicadas dentro de uma única fonte e juntar fontes de dados díspares quando não estiverem disponíveis chaves comuns. Utilizando exemplos de dados do mundo real, este livro ajuda-te a adquirir conhecimentos práticos para acelerar a entrega de valor comercial real.

Com a resolução de entidades, criarás activos de dados ricos e abrangentes que revelam relações para fins de marketing e gestão de riscos, essenciais para aproveitar todo o potencial do ML e da IA. Este livro abrange: