머신러닝 문제점 썸네일형 리스트형 [#E11] Vanishing Gradient와 ReLU 학습에서 레이어를 아주 깊게 쌓은 경우, 다음과 같이 Vanishing Gradient 문제가 나타날 수 있습니다. 이것은 Sigmoid 함수의 특성으로 일어나는 문제입니다. Sigmoid는 항상 1 이하의 값을 가지고 있으므로, 다음과 같이 레이어들을 쌓으면서 값이 계속해서 작아지게 됩니다. 123456layer1 = tf.sigmoid(tf.matmul(X, W1) + b1)layer2 = tf.sigmoid(tf.matmul(layer1, W2) + b2)layer3 = tf.sigmoid(tf.matmul(layer2, W3) + b3)layer4 = tf.sigmoid(tf.matmul(layer3, W4) + b4)layer5 = tf.sigmoid(tf.matmul(layer4, W5) + .. 이전 1 다음
