book

Fondamenti di ingegneria dei dati

by Joe Reis, Matt Housley

April 2025

Intermediate to advanced

450 pages

15h 22m

Italian

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Cosa non è questo libroDi cosa parla questo libroChi dovrebbe leggere questo libroPrerequisitiCosa imparerai e come migliorerà le tue abilitàCome navigare in questo libroConvenzioni utilizzate in questo libroCome contattarciRingraziamenti
Cos'è l'ingegneria dei dati?L'ingegneria dei dati definitaIl ciclo di vita dell'ingegneria dei datiL'evoluzione dell'ingegnere dei datiIngegneria dei dati e scienza dei datiCompetenze e attività di ingegneria dei datiLa maturità dei dati e l'ingegnere dei datiIl background e le competenze di un ingegnere dei datiResponsabilità aziendaliResponsabilità tecnicheIl continuum dei ruoli dell'ingegneria dei dati, da A a BIngegneri dei dati all'interno di un'organizzazioneIngegneri dei dati orientati verso l'interno e ingegneri dei dati orientati verso l'esternoIngegneri dei dati e altri ruoli tecniciIngegneri dei dati e leadership aziendaleConclusioneRisorse aggiuntive
Cos'è il ciclo di vita dell'ingegneria dei dati?Il ciclo di vita dei dati rispetto al ciclo di vita dell'ingegneria dei datiGenerazione: Sistemi sorgenteImmagazzinamentoIngestioneTrasformazioneDati di servizioLe principali correnti del ciclo di vita dell'ingegneria dei datiSicurezzaGestione dei datiDataOpsArchitettura dei datiOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive
Cos'è l'architettura dei dati?L'architettura aziendale definitaArchitettura dei dati definitaUna "buona" architettura dei datiPrincipi di una buona architettura dei datiPrincipio 1: Scegliere con cura i componenti comuniPrincipio 2: Pianificare il fallimentoPrincipio 3: Architettare per la scalabilitàPrincipio 4: L'architettura è leadershipPrincipio 5: Essere sempre in fase di progettazionePrincipio 6: Costruire sistemi ad accoppiamento liberoPrincipio 7: prendere decisioni reversibiliPrincipio 8: Privilegiare la sicurezzaPrincipio 9: abbracciare FinOpsI principali concetti di architetturaDomini e serviziSistemi distribuiti, scalabilità e progettazione per il fallimentoAccoppiamento stretto contro accoppiamento libero: Livelli, monoliti e microserviziAccesso degli utenti: Singolo e multitenantArchitettura guidata dagli eventiProgetti brownfield contro progetti greenfieldEsempi e tipi di architettura dei datiMagazzino datiLago di datiConvergenza, laghi di dati di nuova generazione e piattaforma datiStack di dati modernoArchitettura LambdaArchitettura KappaIl modello Dataflow e il Batch e Streaming unificatoArchitettura per l'IoTData MeshAltri esempi di architettura dei datiChi è coinvolto nella progettazione di un'architettura dei dati?ConclusioneRisorse aggiuntive
Dimensioni e capacità del teamVelocità di commercializzazioneInteroperabilitàOttimizzazione dei costi e valore aziendaleCosto totale di gestioneCosto totale dell'opportunità di proprietàFinOpsOggi contro il futuro: Tecnologie immutabili e transitorieI nostri consigliPosizioneIn locoCloudCloud ibridoMulticloudDecentrato: Blockchain e l'EdgeI nostri consigliArgomenti sul rimpatrio di CloudCostruire contro comprareSoftware Open SourceGiardini recintati di proprietàI nostri consigliMonolite contro modulareMonoliteModularitàLo schema del monolite distribuitoI nostri consigliServerless contro serverServerlessContenitoriCome valutare i server rispetto ai serverlessI nostri consigliOttimizzazione, prestazioni e guerra dei benchmarkBig Data... per gli anni '90Confronti insensati tra i costiOttimizzazione asimmetricaCaveat EmptorLe correnti sotterranee e il loro impatto sulla scelta delle tecnologieGestione dei datiDataOpsArchitettura dei datiEsempio di orchestrazione: AirflowIngegneria del softwareConclusioneRisorse aggiuntive
Fonti di dati: Come vengono creati i dati?Sistemi di fonti: Idee principaliFile e dati non strutturatiAPIDatabase applicativi (sistemi OLTP)Sistema di elaborazione analitica onlineAcquisizione dei dati di modificaRegistriRegistri del databaseCRUDSolo inserimentoMessaggi e flussiTipi di tempoSistema sorgente Dettagli praticiDatabaseAPICondivisione dei datiFonti di dati di terze partiCode di messaggi e piattaforme di event-streamingCon chi lavoreraiLe correnti sotterranee e il loro impatto sui sistemi sorgenteSicurezzaGestione dei datiDataOpsArchitettura dei datiOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive
Le materie prime dell'archiviazione dei datiUnità disco magneticoUnità SolidityMemoria ad accesso casualeNetwork+ e CPUSerializzazioneCompressioneCachingSistemi di archiviazione datiMacchina singola contro archiviazione distribuitaEventuale o forte coerenzaArchiviazione dei fileArchiviazione a blocchiArchiviazione a oggettiSistemi di archiviazione basati su cache e memoriaIl file system distribuito di HadoopArchiviazione in streamingIndici, partizionamento e clusteringIngegneria dei dati Astrazioni di archiviazioneIl magazzino datiIl lago dei datiIl lago dei datiPiattaforme datiArchitettura di archiviazione Stream-to-BatchGrandi idee e tendenze nell'archiviazioneCatalogo dei datiCondivisione dei datiSchemaSeparazione dell'elaborazione dallo storageCiclo di vita dell'archiviazione dei dati e conservazione dei datiStorage a un solo utente e storage a più utentiCon chi lavoreraiCorrenti sotterraneeSicurezzaGestione dei datiDataOpsArchitettura dei datiOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive
Che cos'è l'ingestione dei dati?Considerazioni ingegneristiche fondamentali per la fase di ingerimentoDati delimitati e dati non delimitatiFrequenzaIngestione sincrona o asincronaSerializzazione e DeserializzazioneThroughput e scalabilitàAffidabilità e durataCarico utileModelli di sondaggio a spinta o a trazioneConsiderazioni sull'ingestione in batchEstrazione istantanea o differenzialeEsportazione e ingestione basate su fileETL contro ELTInserimenti, aggiornamenti e dimensione del batchMigrazione dei datiConsiderazioni sull'ingestione di messaggi e flussiEvoluzione dello schemaDati in ritardoOrdini e consegne multipleReplayTempo di vivereDimensione del messaggioGestione degli errori e code di lettere morteI consumatori si muovono e si spingonoPosizioneModi per ingerire i datiConnessione diretta al databaseAcquisizione dei dati di modificaAPICode di messaggi e piattaforme di event-streamingConnettori dati gestitiSpostare i dati con lo storage a oggettiEDIDatabase ed esportazione di fileProblemi pratici con i formati di file più comuniConchigliaSSHSFTP e SCPWebhookInterfaccia webScraping del webDispositivi di trasferimento per la migrazione dei datiCondivisione dei datiCon chi lavoreraiStakeholder a monteStakeholder a valleCorrenti sotterraneeSicurezzaGestione dei datiDataOpsOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive

QueryCos'è una query?La vita di una queryL'ottimizzatore di queryMigliorare le prestazioni delle queryQuery su dati in streamingModellazione dei datiCos'è un modello di dati?Modelli di dati concettuali, logici e fisiciNormalizzazioneTecniche per la modellazione di dati analitici in batchModellare i dati in streamingTrasformazioniTrasformazioni in batchViste materializzate, federazione e virtualizzazione delle queryTrasformazioni ed elaborazione dello streamingCon chi lavoreraiStakeholder a monteStakeholder a valleCorrenti sotterraneeSicurezzaGestione dei datiDataOpsArchitettura dei datiOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive
Considerazioni generali sul servizio dei datiFiduciaQual è il caso d'uso e chi è l'utente?Prodotti di datiSelf-Service o no?Definizioni dei dati e logicaData MeshAnaliticaAnalitica aziendaleAnalisi operativaAnalitica integrataApprendimento automaticoCosa deve sapere un ingegnere dei dati sul MLCome servire i dati per l'analisi e il MLScambio di fileDatabaseSistemi di streamingFederazione di queryCondivisione dei datiLivelli semantici e metriciServire i dati nei taccuiniETL inversoCon chi lavoreraiCorrenti sotterraneeSicurezzaGestione dei datiDataOpsArchitettura dei datiOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive
PersoneIl potere del pensiero negativoSii sempre paranoicoProcessiTeatro della sicurezza contro abitudine alla sicurezzaSicurezza attivaIl principio del minor privilegioResponsabilità condivisa nel CloudEsegui sempre il backup dei tuoi datiUn esempio di politica di sicurezzaTecnologiaSistemi di patch e aggiornamentiCrittografiaRegistrazione, monitoraggio e avvisiAccesso alla reteSicurezza per l'ingegneria dei dati di basso livelloConclusioneRisorse aggiuntive
Il ciclo di vita dell'ingegneria dei dati non sta andando viaIl declino della complessità e l'ascesa di strumenti di dati facili da usareIl sistema operativo dei dati su scala Cloud e l'interoperabilità migliorata"Ingegneria dei dati "aziendaleI titoli e le responsabilità cambieranno...Andare oltre il moderno data stack, verso il live data stackLo stack dei dati livePipeline di streaming e database analitici in tempo realeLa fusione di dati e applicazioniLo stretto feedback tra applicazioni e MLI dati sulla materia oscura e l'ascesa dei... fogli di calcolo?!Conclusione
Formati di serializzazioneSerializzazione basata sulle righeSerializzazione colonnareSerializzazione ibridaMotori di archiviazione per databaseCompressione: gzip, bzip2, Snappy, ecc.
Topologia della rete CloudSpese per l'uscita dei datiZone di disponibilitàRegioniNetwork+ specifici per GCP e ridondanza multiregionaleConnessioni di rete dirette al CloudCDNIl futuro delle tariffe di uscita dei dati

Content preview from Fondamenti di ingegneria dei dati

Appendice B. Network+ Cloud

Questa appendice illustra alcuni fattori che gli ingegneri dei dati dovrebbero prendere in considerazione per quanto riguarda il networking nel cloud. Gli ingegneri dei dati incontrano spesso il networking nella loro carriera e spesso lo ignorano nonostante la sua importanza.

Topologia della rete Cloud

La topologia di rete del cloud descrive come sono disposti e collegati i vari componenti del cloud, come i servizi cloud, le reti, le località (zone, regioni) e altro ancora. Gli ingegneri dei dati devono sempre sapere come la topologia della rete cloud influenzerà la connettività dei sistemi di dati che costruiscono. Microsoft Azure, Google Cloud Platform (GCP) e Amazon Web Services (AWS) utilizzano tutti gerarchie di risorse molto simili, con zone e regioni di disponibilità. Al momento in cui scriviamo, GCP ha aggiunto un ulteriore livello, discusso in "Networking specifico GCP e ridondanza multiregionale".

Spese per l'uscita dei dati

Il Capitolo 4 parla dell'economia del cloud e di come i costi effettivi dei provider non determinino necessariamente i prezzi del cloud. Per quanto riguarda il networking, i cloud consentono il traffico in entrata gratuitamente ma fanno pagare il traffico in uscita verso internet. Il traffico in uscita non è intrinsecamente più economico, ma i cloud utilizzano questo metodo per creare un fossato intorno ai loro servizi e aumentare la persistenza dei dati archiviati, una pratica che è stata ampiamente criticata.¹ Si noti ...