book

Elasticsearch

by Florian Hopf

December 2015

Intermediate to advanced

262 pages

6h 29m

German

dpunkt

Read now

Unlock full access

1.1 Motivation1.2 Geschichte von Elasticsearch1.3 Ein erstes Beispiel1.4 Anwendungsfälle1.5 Wann Elasticsearch?1.6 Über dieses Buch1.7 Danksagung
2.1 Die Beispielanwendung2.1.1 Die Beispieldaten2.2 Dokumente indizieren2.2.1 Index und Typ2.2.2 Indizierung2.2.3 Die erste Suche2.3 Der invertierte Index2.3.1 Analyzing2.3.2 Speicherung von Feldern2.3.3 Auf Feldern suchen2.4 Über die Query-DSL zugreifen2.4.1 Match-Query2.4.2 Ergebnisse filtern2.5 Die Indizierung über das Mapping konfigurieren2.5.1 Das Mapping einsehen2.5.2 Das Mapping anpassen2.5.3 Filterung nach Datum2.5.4 Schemafreiheit2.6 Suchergebnisse sortieren und paginieren2.6.1 Paginierung2.6.2 Sortierung2.7 Facetten für Suchergebnisse2.7.1 Facetten auf Begriffen mit der Terms-Aggregation2.8 Die Anwendung vereinfachen2.8.1 Die Rückgabe beeinflussen2.8.2 Search-Templates2.9 Zusammenfassung
3.1 Analyzing und der invertierte Index3.1.1 Den Analyzing-Prozess beobachten3.2 Sprachspezifische Verarbeitung durch Stemming3.3 Teilbegriffe finden3.3.1 Wildcards3.3.2 Prefix-Query3.3.3 N-Gramme3.3.4 Mehrere Analyzer für einen Inhalt konfigurieren3.3.5 Fazit Wildcards und N-Gramme3.4 Ähnliche Begriffe mit der Fuzzy-Query finden3.5 Mit mehrsprachigen Inhalten arbeiten3.6 Die Suche verbessern3.6.1 Synonyme3.6.2 Stoppwörter3.6.3 Umgang mit Sonderzeichen3.6.4 Noch mehr Sucherweiterungen3.7 Hervorheben von Suchbegriffen im Auszug3.8 Autovervollständigung3.8.1 Suggester3.8.2 Completion-Suggester3.8.3 Context-Suggester3.8.4 Alternative Implementierungen für Autovervollständigung3.8.5 Weitere Suggester3.9 Zusammenfassung
4.1 Relevanz für die Nutzer4.1.1 Precision und Recall4.2 Berechnung der Relevanz4.3 Einfluss von Abfragen auf die Relevanz4.3.1 Analyzing und Relevanz4.3.2 Abfragen mit der Bool-Query kombinieren4.3.3 Suche nach Termen mit der Match-Abfrage4.3.4 Optionale oder zwingende Suchbegriffe4.3.5 Mit Multi-Match auf mehreren Feldern suchen4.3.6 Phrase-Query4.3.7 Weitere Abfragen4.4 Relevanz durch Boosting beeinflussen4.4.1 Dokumente zur Indexzeit boosten4.4.2 Dokumente zur Suchzeit boosten4.5 Funktionen zur Ergebnissortierung4.5.1 Nachsortieren der Ergebnisse4.5.2 Eigenes Scoring über Function-Score4.5.3 Scripting4.6 Relevanz im verteilten System4.7 Relevanz verstehen4.8 Zusammenfassung
5.1 Indizierungsstrategien5.1.1 Den Index neu aufbauen5.1.2 Den Index inkrementell aufbauen5.2 Dokumente einzeln indizieren5.2.1 Versionierung nutzen5.2.2 Überschreiben von Dokumenten kontrollieren5.3 Dokumente gesammelt indizieren5.4 Externe Datenquellen anbinden5.4.1 JDBC-Importer – Daten aus relationalen Datenbanken indizieren5.4.2 Logstash5.4.3 Attachment-Plugin5.5 Partial Updates – Dokumente aktualisieren5.6 Interna zur Indizierung5.6.1 Segmente5.6.2 Near Realtime Search5.6.3 Index-Refresh5.6.4 Translog5.6.5 Segment-Merging5.7 Zusammenfassung
6.1 Shards und Replicas6.1.1 Shards6.1.2 Sharding-Strategien6.1.3 Replicas6.1.4 Rebalancing von Shards und Replicas6.1.5 Cluster-Health6.1.6 Recovery6.1.7 Shard-Allocation beeinflussen6.2 Suche im verteilten System6.2.1 Zuordnung von Dokumenten zu Shards6.2.2 Über Shards nach Dokumenten suchen6.2.3 Preference bei der Anfrage festlegen6.2.4 Den Search-Type ändern6.2.5 Routing6.3 Kommunikation im Cluster6.3.1 Discovery6.3.2 Master-Wahl6.3.3 Cluster-State6.3.4 Split-Brain6.3.5 Resiliency6.3.6 Client-, Master- und Data-Nodes6.4 Indizierung im verteilten System6.5 Zusammenfassung
7.1 Einsatzfelder für Elasticsearch7.1.1 Dokumentenmodell7.1.2 Datenduplizierung7.2 Gestaltung der Indexstruktur7.2.1 Mehrstufiger Zugriff7.2.2 Index und Typ7.2.3 Index-Aliase7.2.4 Index-Templates7.3 Mapping-Optionen7.3.1 Texte7.3.2 Zahlen7.3.3 Date7.3.4 Geodaten7.3.5 Automatisches Mapping deaktivieren7.3.6 Weitere Optionen des Mappings7.4 Beziehungen zwischen Dokumenten7.4.1 Dokumente als Object einbetten7.4.2 Dokumente als Nested einbinden7.4.3 Parent-Child-Beziehungen7.4.4 Manuelle Verknüpfung7.5 Zusammenfassung

8.1 Einführung8.2 Aggregationen8.2.1 Terms-Aggregation8.2.2 Aggregationen kombinieren8.2.3 Bucket- und Metric-Aggregationen8.3 Bucket-Aggregationen8.3.1 Aggregationen über Bereiche8.3.2 Histogram-Aggregation8.3.3 Significant-Terms-Aggregation8.3.4 Weitere Bucket-Aggregationen8.4 Metric-Aggregationen8.4.1 Stats-Aggregation8.4.2 Cardinality-Aggregation8.4.3 Top-Hits-Aggregation8.4.4 Weitere Metric-Aggregationen8.5 Aggregationen im Praxiseinsatz8.5.1 Ressourcenverbrauch der Aggregationen8.5.2 Aggregationen und Genauigkeit8.6 Zusammenfassung
9.1 Zwischenschicht zum Zugriff9.2 Der Java-Client9.2.1 Daten indizieren9.2.2 Daten auslesen9.2.3 Weiteres9.3 Der JavaScript-Client9.4 Client-Bibliotheken auswählen9.5 Zusammenfassung
10.1 Installation10.1.1 Das Elasticsearch-Archiv10.1.2 Installation über Pakete10.1.3 Elasticsearch als Service10.1.4 Provisionierung von Elasticsearch10.1.5 Upgrade einer Elasticsearch-Installation10.2 Elasticsearch dimensionieren10.2.1 Speicherbedarf10.2.2 Festplattenbedarf10.2.3 Den Cluster dimensionieren10.3 Elasticsearch konifigurieren10.3.1 Den Speicher konfigurieren10.3.2 Swapping10.3.3 Logging10.4 Das Betriebssystem für Elasticsearch konfigurieren10.4.1 Dateideskriptoren10.5 Mapping-Optionen zur Kontrolle der gespeicherten Inhalte10.5.1 _all-Feld10.5.2 Positions und Offset10.5.3 Norms10.5.4 Gespeicherte Inhalte beeinflussen10.6 Caches10.6.1 Filter-Cache10.6.2 Shard-Query-Cache10.6.3 Field-Data-Cache10.6.4 Doc-Values10.7 Monitoring10.7.1 Nodes-Info10.7.2 Nodes-Stats10.7.3 Hot-Threads10.7.4 Die cat-API10.7.5 Monitoring-Plugins10.8 Datensicherung10.8.1 Snapshot – Daten sichern10.8.2 Restore – Daten wiederherstellen10.9 Zusammenfassung
11.1 Warum zentralisiertes Logging?11.2 Der ELK-Stack11.3 Logstash11.3.1 Input11.3.2 Filter11.3.3 Bedingte Ausführung11.3.4 Output11.3.5 Logstash ausführen11.4 Kibana11.4.1 Konzepte in Kibana11.4.2 Discover11.4.3 Visualize11.4.4 Dashboard11.5 Skalierbares Setup11.5.1 Shipping der Logs an Redis11.5.2 Log-Meldungen als JSON schreiben11.5.3 Lognachrichten aus der Anwendung in den Broker schreiben11.6 Curator zur Indexverwaltung11.7 Alternative zur Loganalyse: Graylog11.7.1 Lognachrichten nach Graylog schreiben11.7.2 Lognachrichten suchen11.7.3 Lognachrichten über Streams kategorisieren11.7.4 Dashboards zur Visualisierung11.7.5 Graylog oder der ELK-Stack?11.8 Zusammenfassung
A.1 Neuindizierung ohne ÄnderungenA.2 Neuindizierung mit ÄnderungenA.3 Ausblick

Content preview from Elasticsearch

9 Zugriff auf Elasticsearch

In diesem Kapitel werden wir uns ansehen, wie wir aus einer Anwendung auf Elasticsearch zugreifen können. Die Integration wird anhand der Standard-Clients für Java und JavaScript vorgestellt.

9.1 Zwischenschicht zum Zugriff

Bisher haben wir die HTTP-Schnittstelle von Elasticsearch direkt genutzt, um die Funktionalität für unsere Anwendung zu realisieren. Das JSON-Format legt es nahe, auf Elasticsearch auch in Anwendungen direkt aus dem Browser zuzugreifen. Zumindest für öffentlich erreichbare Anwendungen sollte dies aus Sicherheitsgründen jedoch vermieden werden.

Stattdessen wird meist wie in Abbildung 9-1 noch eine Schicht zwischen Browser und Elasticsearch eingezogen, in der auch die sonstige Anwendungslogik implementiert ...