데이터 전처리 썸네일형 리스트형 [#E13] DROP OUT 이란? DROP OUT은 데이터 전처리 방법 [#E9 : 학습 데이터 전처리(PreProcessing)] 과 비슷하게 학습이 잘 작동하도록 도와주는 모델입니다. 이것은 다음 사진과 같이 작동합니다. 레이어를 깊게 쌓으면 그림 (a)와 같이 NN (Neural Network)는 복잡한 뉴런을 가지게 됩니다. DROP OUT은 고의로 랜덤한 뉴런을 누락시킨 후 학습을 시작합니다. 일단 학습이 끝나면 다시 (a) 그대로 학습하여 효율성 및 정확도를 높여줄 수 있습니다. DROP OUT은 다음과 같이 구현합니다. 12345678910111213141516171819202122dropout_rate = tf.placeholder("float") W1 = tf.get_variable("W1", shape=[784, 512.. [#E9] 학습 데이터 전처리 (PreProcessing) 학습 데이터를 다루다보면 원하는 결과가 아닌 NAN이 출력되는 경우가 있습니다. 이것의 원인은 다양한데, 일반적으로 세 가지가 있습니다. 1. Learning Rate가 너무 크거나 작게 설정된 경우 1optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)cs Solution : 특별한 방법 없이 다양한 Rate 값을 시도해야 합니다. 2. Over Fitting Solution : 데이터 Regularization, 더 많은 데이터, 특징이 되는 값 제거 Regularization의 경우 Cost 함수 + Term으로 구성됩니다. Term은 다음과 같습니다. 1234567891011//TERM = REGULARIZATION STRENGTH .. 이전 1 다음
