(3) What is a Linear model?

원래는 이번 글에서 Activation function에 대해 작성하려 했는데 그전에 먼저 선형이란 무엇인가를 알아봐야 할 것 같다.

 

1) 선형이란?

위와 같은 데이터가 주어졌을 때 데이터에 가장 잘 fit한 모델은 무엇일까?라고 한다면 

$$y=x$$

라고 대부분 대답할 것이다.

 

위의 모델은 선형일까?라고 묻는다면 당연히 선형이라고 할 것 이다.

그렇다면 다시, 위와 같은 데이터가 주어졌을 때 데이터에 가장 fit한 모델은 무엇일까?라고 한다면

$$ax^2+bx+c$$라고 할 수 있을 것이다.

 

위의 모델이 선형일까를 다시 묻는다면 뭐라고 대답할까?

대부분의 사람이 비선형이라고 대답할 것이다.

하지만 질문에 대답은 선형이다!라고 해야한다.

 

그렇다면 왜 위의 모델은 선형 모델일까?

 

위의 모델이 선형인 이유는 가중치(w)들이 선형으로 결합되어 있기 때문에 선형 모델이라고 말할 수 있다.

 

조금 더 이해하기 쉽게 말하자면 선형 모델에서의 선형이라 함은 coefficient 즉 계수(w)를 선형으로 결합할 수 있는지 없는지를 통해 선형이다 아니다를 구분하면 된다. 즉 우리는 w의 관점에서 바라보면 선형인지 아닌지를 구분할 수 있게 되는 것이다.

 

$$y=w_1x + w_2x^2 + w_3x^3 \Rightarrow y=w_1x_1 + w_2x_2 + w_3x_3$$

 

 

2) 비선형이란?

 

위에서 선형에 대해 알아보았는데 그렇다면 비선형이란 무엇일까?

당연하겠지만 선형과는 반대로 w를 선형 결합식으로 표현할 수 없는 모델을 말한다.

 

예를 들어

$$y=w_1x_1 + w_2x_2 + ... + w_nx_n$$

이라는 선형 함수가 있다고 했을 때 

$$\frac{1}{1+e^{-y}}$$

위와 같은 함수(activation function)를 통과하면 그 함수가 비선형 모델이 되는 것이다.