Smart Data Analytics

Marz stellte das System im Auftrag von Twitter später auch in Form eines Apache Open Source-Projektes zur Verfügung stellte. Das System ähnelt in seiner strikten Topologie einer MapReduce-Architektur: Eine Reihe von Knoten werden zu azyklischen Graphen aneinander gekettet. Ähnlich den Wert-Schlüssel-Paaren von MapReduce werden Tupel verarbeitetet (im Gegensatz zu Mengen ist bei Tupeln die Reihenfolge wichtig). Im Gegensatz zu MapReduce enden die einzelnen Jobs (bolts, übersetzt Bolzen aber auch Blitze) nicht, sondern bilden einen konstanten Datenfluss. Über sogenannte Ausgießer (spouts) können verschiedene Datenquellen in Echtzeit eingebunden werden. Storm garantiert dabei formal keine maximale Ausführungszeit, arbeitet jedoch durch Parallelisierung ...