Kollektive Intelligenz analysieren, programmieren und nutzen

Entropie

Die Entropie ist ein weiterer Weg zu beschreiben, wie gemischt ein Set ist. Sie kommt aus der Informationstheorie und misst die Menge an Unordnung in einem Set. Grob gesagt, beschreibt die Entropie, wie überraschend ein zufällig gewähltes Element aus dem Set ist. Wenn das gesamte Set aus As bestünde, wären Sie nie überrascht, ein A zu erhalten, daher wäre die Entropie 0. Die Formel ist in Abbildung B-7 angegeben.

Abbildung B-7. Entropie

Diese Funktion erwartet eine Liste mit Elementen und berechnet die Entropie:

def entropy(l): from math import log log2=lambda x:log(x)/log(2) total=len(l) counts={} for item in l: counts.setdefault(item,0) ...