
Wykorzystanie sieci neuronowej doklasyfikowania języków | 157
character = char.lower ()
characters.add (character)
dist[character] += 1
if len (dist) > 0:
vectors.append (cls.normalize (dist))
return vectors, characters
Teraz mamy coś, copowinno działać. Można zauważyć, żemamy tutaj unikodową spację,
oznaczoną jako
\u00a0
.
Teraz mamy jednak nowy problem, który wynika ztego, żedane nie sumują się do1.
Wprowadzimy nową funkcję
normalize
, która przyjmuje tablicę wartości istosuje funkcję
x/sum (x)
wobec wszystkich wartości. Użyłem funkcji
Fraction
, cozwiększa niezawod-
ność obliczeń inie wykorzystuje arytmetyki zmiennoprzecinkowej, ...