Mãos à Obra: Aprendizado de Máquina com Scikit-Learn e TensorFlow

De Neurônios Biológicos a Neurônios Artificiais | 269

A função ReLU (introduzida no Capítulo 9)

ReLU (z) = max (0, z). É contínua, mas infelizmente não é diferenciável em z = 0 (a

inclinação muda abruptamente, o que pode fazer com que o Gradiente Descendente

salte). No entanto, na prática, ela funciona muito bem e tem a vantagem de o cálculo

ser rápido. Mais importante ainda, o fato dela não possuir um valor máximo de saída

também ajuda na redução de alguns problemas durante o Gradiente Descendente (vol-

taremos a isso no Capítulo 11).

Estas funções de ativação populares e suas derivadas estão representadas na Figura 10-8.

Funções de ativação