Neural network의 weight을 조절하는 과정에는 보통 ‘Gradient Descent’ 라는 방법을 사용한다. 이는 네트워크의 parameter들을 θθ라고 했을 때, 네트워크에서 내놓는 결과값과 실제 결과값 사이의 차이를 정의하는 함수 Loss function J(θ)J(θ)의 값을 최소화하기 위해 기울기(gradient) ∇θJ(θ)∇θJ(θ)를 이용하는 방법이다. Gradient Descent에서는 θθ 에 대해 gradient의 반대 방향으로 일정 크기만큼 이동해내는 것을 반복하여 Loss function J(θ)J(θ) 의 값을 최소화하는 θθ 의 값을 찾는다. 한 iteration에서의 변화 식은 다음과 같다. θ=θ−η∇θJ(θ)θ=θ−η∇θJ(θ) 이 때 ηη 는 미리 정해진 ..