book

Fondamenti di ingegneria dei dati

by Joe Reis, Matt Housley

April 2025

Intermediate to advanced

450 pages

15h 22m

Italian

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Cosa non è questo libroDi cosa parla questo libroChi dovrebbe leggere questo libroPrerequisitiCosa imparerai e come migliorerà le tue abilitàCome navigare in questo libroConvenzioni utilizzate in questo libroCome contattarciRingraziamenti
Cos'è l'ingegneria dei dati?L'ingegneria dei dati definitaIl ciclo di vita dell'ingegneria dei datiL'evoluzione dell'ingegnere dei datiIngegneria dei dati e scienza dei datiCompetenze e attività di ingegneria dei datiLa maturità dei dati e l'ingegnere dei datiIl background e le competenze di un ingegnere dei datiResponsabilità aziendaliResponsabilità tecnicheIl continuum dei ruoli dell'ingegneria dei dati, da A a BIngegneri dei dati all'interno di un'organizzazioneIngegneri dei dati orientati verso l'interno e ingegneri dei dati orientati verso l'esternoIngegneri dei dati e altri ruoli tecniciIngegneri dei dati e leadership aziendaleConclusioneRisorse aggiuntive
Cos'è il ciclo di vita dell'ingegneria dei dati?Il ciclo di vita dei dati rispetto al ciclo di vita dell'ingegneria dei datiGenerazione: Sistemi sorgenteImmagazzinamentoIngestioneTrasformazioneDati di servizioLe principali correnti del ciclo di vita dell'ingegneria dei datiSicurezzaGestione dei datiDataOpsArchitettura dei datiOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive
Cos'è l'architettura dei dati?L'architettura aziendale definitaArchitettura dei dati definitaUna "buona" architettura dei datiPrincipi di una buona architettura dei datiPrincipio 1: Scegliere con cura i componenti comuniPrincipio 2: Pianificare il fallimentoPrincipio 3: Architettare per la scalabilitàPrincipio 4: L'architettura è leadershipPrincipio 5: Essere sempre in fase di progettazionePrincipio 6: Costruire sistemi ad accoppiamento liberoPrincipio 7: prendere decisioni reversibiliPrincipio 8: Privilegiare la sicurezzaPrincipio 9: abbracciare FinOpsI principali concetti di architetturaDomini e serviziSistemi distribuiti, scalabilità e progettazione per il fallimentoAccoppiamento stretto contro accoppiamento libero: Livelli, monoliti e microserviziAccesso degli utenti: Singolo e multitenantArchitettura guidata dagli eventiProgetti brownfield contro progetti greenfieldEsempi e tipi di architettura dei datiMagazzino datiLago di datiConvergenza, laghi di dati di nuova generazione e piattaforma datiStack di dati modernoArchitettura LambdaArchitettura KappaIl modello Dataflow e il Batch e Streaming unificatoArchitettura per l'IoTData MeshAltri esempi di architettura dei datiChi è coinvolto nella progettazione di un'architettura dei dati?ConclusioneRisorse aggiuntive
Dimensioni e capacità del teamVelocità di commercializzazioneInteroperabilitàOttimizzazione dei costi e valore aziendaleCosto totale di gestioneCosto totale dell'opportunità di proprietàFinOpsOggi contro il futuro: Tecnologie immutabili e transitorieI nostri consigliPosizioneIn locoCloudCloud ibridoMulticloudDecentrato: Blockchain e l'EdgeI nostri consigliArgomenti sul rimpatrio di CloudCostruire contro comprareSoftware Open SourceGiardini recintati di proprietàI nostri consigliMonolite contro modulareMonoliteModularitàLo schema del monolite distribuitoI nostri consigliServerless contro serverServerlessContenitoriCome valutare i server rispetto ai serverlessI nostri consigliOttimizzazione, prestazioni e guerra dei benchmarkBig Data... per gli anni '90Confronti insensati tra i costiOttimizzazione asimmetricaCaveat EmptorLe correnti sotterranee e il loro impatto sulla scelta delle tecnologieGestione dei datiDataOpsArchitettura dei datiEsempio di orchestrazione: AirflowIngegneria del softwareConclusioneRisorse aggiuntive
Fonti di dati: Come vengono creati i dati?Sistemi di fonti: Idee principaliFile e dati non strutturatiAPIDatabase applicativi (sistemi OLTP)Sistema di elaborazione analitica onlineAcquisizione dei dati di modificaRegistriRegistri del databaseCRUDSolo inserimentoMessaggi e flussiTipi di tempoSistema sorgente Dettagli praticiDatabaseAPICondivisione dei datiFonti di dati di terze partiCode di messaggi e piattaforme di event-streamingCon chi lavoreraiLe correnti sotterranee e il loro impatto sui sistemi sorgenteSicurezzaGestione dei datiDataOpsArchitettura dei datiOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive
Le materie prime dell'archiviazione dei datiUnità disco magneticoUnità SolidityMemoria ad accesso casualeNetwork+ e CPUSerializzazioneCompressioneCachingSistemi di archiviazione datiMacchina singola contro archiviazione distribuitaEventuale o forte coerenzaArchiviazione dei fileArchiviazione a blocchiArchiviazione a oggettiSistemi di archiviazione basati su cache e memoriaIl file system distribuito di HadoopArchiviazione in streamingIndici, partizionamento e clusteringIngegneria dei dati Astrazioni di archiviazioneIl magazzino datiIl lago dei datiIl lago dei datiPiattaforme datiArchitettura di archiviazione Stream-to-BatchGrandi idee e tendenze nell'archiviazioneCatalogo dei datiCondivisione dei datiSchemaSeparazione dell'elaborazione dallo storageCiclo di vita dell'archiviazione dei dati e conservazione dei datiStorage a un solo utente e storage a più utentiCon chi lavoreraiCorrenti sotterraneeSicurezzaGestione dei datiDataOpsArchitettura dei datiOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive
Che cos'è l'ingestione dei dati?Considerazioni ingegneristiche fondamentali per la fase di ingerimentoDati delimitati e dati non delimitatiFrequenzaIngestione sincrona o asincronaSerializzazione e DeserializzazioneThroughput e scalabilitàAffidabilità e durataCarico utileModelli di sondaggio a spinta o a trazioneConsiderazioni sull'ingestione in batchEstrazione istantanea o differenzialeEsportazione e ingestione basate su fileETL contro ELTInserimenti, aggiornamenti e dimensione del batchMigrazione dei datiConsiderazioni sull'ingestione di messaggi e flussiEvoluzione dello schemaDati in ritardoOrdini e consegne multipleReplayTempo di vivereDimensione del messaggioGestione degli errori e code di lettere morteI consumatori si muovono e si spingonoPosizioneModi per ingerire i datiConnessione diretta al databaseAcquisizione dei dati di modificaAPICode di messaggi e piattaforme di event-streamingConnettori dati gestitiSpostare i dati con lo storage a oggettiEDIDatabase ed esportazione di fileProblemi pratici con i formati di file più comuniConchigliaSSHSFTP e SCPWebhookInterfaccia webScraping del webDispositivi di trasferimento per la migrazione dei datiCondivisione dei datiCon chi lavoreraiStakeholder a monteStakeholder a valleCorrenti sotterraneeSicurezzaGestione dei datiDataOpsOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive

QueryCos'è una query?La vita di una queryL'ottimizzatore di queryMigliorare le prestazioni delle queryQuery su dati in streamingModellazione dei datiCos'è un modello di dati?Modelli di dati concettuali, logici e fisiciNormalizzazioneTecniche per la modellazione di dati analitici in batchModellare i dati in streamingTrasformazioniTrasformazioni in batchViste materializzate, federazione e virtualizzazione delle queryTrasformazioni ed elaborazione dello streamingCon chi lavoreraiStakeholder a monteStakeholder a valleCorrenti sotterraneeSicurezzaGestione dei datiDataOpsArchitettura dei datiOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive
Considerazioni generali sul servizio dei datiFiduciaQual è il caso d'uso e chi è l'utente?Prodotti di datiSelf-Service o no?Definizioni dei dati e logicaData MeshAnaliticaAnalitica aziendaleAnalisi operativaAnalitica integrataApprendimento automaticoCosa deve sapere un ingegnere dei dati sul MLCome servire i dati per l'analisi e il MLScambio di fileDatabaseSistemi di streamingFederazione di queryCondivisione dei datiLivelli semantici e metriciServire i dati nei taccuiniETL inversoCon chi lavoreraiCorrenti sotterraneeSicurezzaGestione dei datiDataOpsArchitettura dei datiOrchestrazioneIngegneria del softwareConclusioneRisorse aggiuntive
PersoneIl potere del pensiero negativoSii sempre paranoicoProcessiTeatro della sicurezza contro abitudine alla sicurezzaSicurezza attivaIl principio del minor privilegioResponsabilità condivisa nel CloudEsegui sempre il backup dei tuoi datiUn esempio di politica di sicurezzaTecnologiaSistemi di patch e aggiornamentiCrittografiaRegistrazione, monitoraggio e avvisiAccesso alla reteSicurezza per l'ingegneria dei dati di basso livelloConclusioneRisorse aggiuntive
Il ciclo di vita dell'ingegneria dei dati non sta andando viaIl declino della complessità e l'ascesa di strumenti di dati facili da usareIl sistema operativo dei dati su scala Cloud e l'interoperabilità migliorata"Ingegneria dei dati "aziendaleI titoli e le responsabilità cambieranno...Andare oltre il moderno data stack, verso il live data stackLo stack dei dati livePipeline di streaming e database analitici in tempo realeLa fusione di dati e applicazioniLo stretto feedback tra applicazioni e MLI dati sulla materia oscura e l'ascesa dei... fogli di calcolo?!Conclusione
Formati di serializzazioneSerializzazione basata sulle righeSerializzazione colonnareSerializzazione ibridaMotori di archiviazione per databaseCompressione: gzip, bzip2, Snappy, ecc.
Topologia della rete CloudSpese per l'uscita dei datiZone di disponibilitàRegioniNetwork+ specifici per GCP e ridondanza multiregionaleConnessioni di rete dirette al CloudCDNIl futuro delle tariffe di uscita dei dati

Content preview from Fondamenti di ingegneria dei dati

Capitolo 1. L'ingegneria dei dati descritta

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: translation-feedback@oreilly.com

Se lavori nel settore dei dati o del software, potresti aver notato che l'ingegneria dei dati sta uscendo dall'ombra e ora condivide la scena con la scienza dei dati. L'ingegneria dei dati è uno dei settori più caldi nel campo dei dati e della tecnologia, e per una buona ragione. Costruisce le basi per la scienza dei dati e l'analisi in produzione. Questo capitolo spiega cos'è l'ingegneria dei dati, come è nata e come si è evoluta, quali sono le competenze degli ingegneri dei dati e con chi lavorano.

Cos'è l'ingegneria dei dati?

Nonostante l'attuale popolarità dell'ingegneria dei dati, c'è molta confusione su cosa significhi ingegneria dei dati e su cosa facciano gli ingegneri dei dati. L'ingegneria dei dati esiste in qualche forma da quando le aziende hanno iniziato a fare cose con i dati, come l'analisi predittiva, l'analisi descrittiva e i report, ed è stata messa in evidenza con l'ascesa della scienza dei dati negli anni 2010. Ai fini di questo libro, è fondamentale definire il significato di ingegneria dei dati e di ingegnere dei dati.

Per prima cosa, analizziamo il panorama di come viene descritta l'ingegneria dei dati e sviluppiamo una terminologia che potremo utilizzare in questo libro. Esistono infinite definizioni di ingegneria dei dati. All'inizio del 2022, una ricerca esatta su Google ...