Mãos à Obra: Aprendizado de Máquina com Scikit-Learn e TensorFlow

318 | Capítulo 11: Treinando Redes Neurais Profundas

os pesos ao longo do segundo eixo para que cada vetor de linha fique com uma norma

máxima de 1,0. A última linha cria uma operação de atribuição dos pesos limitados às

variáveis de peso:

threshold = 1.0

weights = tf.get_default_graph().get_tensor_by_name("hidden1/kernel:0")

clipped_weights = tf.clip_by_norm(weights, clip_norm=threshold, axes=1)

clip_weights = tf.assign(weights, clipped_weights)

Então, basta aplicar esta operação após cada etapa de treinamento, assim:

sess.run(training_op, feed_dict={X: X_batch, y: y_batch})

clip_weights.eval()

Em geral, você faria isso para cada camada oculta. E ...