
Генеративно-состязательные сети и синтез новых данных
601
Исходя из развернутой записи (дискретной или непрерывной), расхождение KL
можно рассматривать как перекрестную энтропию между P и Q (первый член
в предыдущем уравнении), вычтенную из собственной энтропии P (второй член),
т. е.
KL(P||Q) = H(P, Q) – H(P).
Теперь, возвращаясь к нашему обсуждению GAN, давайте посмотрим, как эти различ-
ные меры расстояния связаны с функцией потерь для GAN. Можно математически по-
казать, что функция потерь в оригинальной GAN действительно минимизирует расхо-
ждение JS между распределением реальных и фиктивных примеров. Но, как обсужда-
лось ...