Suchindizes aufbauen
Google hat ursprünglich mit MapReduce die Indizes für seine Suchmaschine aufgebaut, nämlich implementiert als Workflow von fünf bis zehn MapReduce-Jobs [1]. Obwohl Google später davon abgerückt ist, MapReduce für diesen Zweck einzusetzen [43], hilft es für das Verständnis von MapReduce, wenn man die Aufgabe betrachtet, einen Suchindex aufzubauen. (Auch heute ist Hadoop MapReduce weiterhin eine gute Methode, um Indizes für Lucene/Solr zu erstellen [44].)
Der Abschnitt »Volltextsuche und Fuzzy-Indizes« auf Seite 94 hat kurz gezeigt, wie ein Volltextsuchindex wie zum Beispiel Lucene funktioniert: Es handelt sich um eine Datei (das Begriffswörterbuch), in der man effizient nach einem bestimmten Schlüsselwort suchen kann und die ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access