Kafka: La guida definitiva, 2a edizione

Prefazione alla prima edizione

È un momento entusiasmante per Apache Kafka. Kafka è utilizzato da decine di migliaia di organizzazioni, tra cui oltre un terzo delle aziende Fortune 500. È uno dei progetti open source a più rapida crescita e ha dato vita a un immenso ecosistema intorno a sé. È uno dei progetti open source in più rapida crescita e ha generato un immenso ecosistema intorno a sé. È al centro di un movimento di gestione ed elaborazione di flussi di dati.

Da dove viene Kafka? Perché lo abbiamo costruito? E cos'è esattamente?

Kafka è nato come sistema di infrastruttura interna che abbiamo costruito in LinkedIn. La nostra osservazione era molto semplice: c'erano molti database e altri sistemi costruiti per archiviare i dati, ma quello che mancava nella nostra architettura era qualcosa che ci aiutasse a gestire il flusso continuo di dati. Prima di costruire Kafka, abbiamo sperimentato ogni tipo di opzione, dai sistemi di messaggistica agli strumenti di aggregazione dei log e di ETL, ma nessuno di questi ci ha dato quello che volevamo.

Alla fine abbiamo deciso di costruire qualcosa da zero. La nostra idea era che, invece di concentrarci sulla conservazione di pile di dati come i nostri database relazionali, i negozi di valori-chiave, gli indici di ricerca o le cache, ci saremmo concentrati sul trattamento dei dati come un flusso in continua evoluzione e crescita e avremmo costruito un sistema di dati - e di fatto un'architettura di dati - orientato a questa idea.

Quest'idea ...