Gradient

벡터 미적분학에서 기울기 또는 그래디언트(gradient)는 스칼라장의 최대의 증가율을 나타내는 벡터장을 뜻한다. 기울기를 나타내는 벡터장을 화살표로 표시할 때 화살표의 방향은 증가율이 최대가 되는 방향이며, 화살표의 크기는 증가율이 최대일 때의 증가율의 크기를 나타낸다.

(Similarly to the usual derivative, the gradient represents the slope of the tangent of the graph of the function. More precisely, the gradient points in the direction of the greatest rate of increase of the function and its magnitude is the slope of the graph in that direction.)

왜 증가율이 최대가 되는지를 잘 설명할 수 있을지는 모르겠지만 하나씩 해 보겠다. 

x,y를 변수로 갖는 phi를 대한 contour line을 그리면 위와 같은 그림이 나온다. 우선 line의 값이 고정된 상태에서 x,y가 변하게 되면 변화량은 0이 된다. 위의 그래서 위의 식을 계산해서 벡터 notation으로 해서 나타내면 내적의 왼쪽에 있는 벡터를 gradient라고 한다. 오른쪽에 있는 변수의 변화량을 나타내는 벡터이다. 그런데 위의 경우 내적의 결과가 0이기 때문에 두 벡터가 수직이다. 그래서 gradient는 level curve에서 수직이라는 것을 알 수 있다.

위의 사실로 부터 phi의 변화량이 '0'이 아닌 어떤 값을 가질 때는 이미 그 변화량과 gradient의 값은 이미 나와 결정되어 있다. 그렇다면 변수의 변화량 벡터가 어느 방향으로 가는지가 중요해진다. 여기서 gradient의 방향과 관련된 정의를 상기시켜 보면 '증가율이 최대가 되는 방향' 이다. 그러면 같은 값으로 가는데 있어서 조금만 움직이고 가는 게 제일 좋다. 그래서 cos(theta) 값이 1이 되는 순간 변수 변화량 벡터가 가장 최소가 된다. 다시 말해, gradient의 방향과 같아진다. 그래서 gradient의 방향이 '증가율' 최대 방향이다.