반응형

기계학습과 예측의 출발 이론, 선형회귀

 

정리. 오상문 sualchi@daum.net

 

우리가 좋은 예측을 하기 위해서는 일단 예측에 도움이 되는 기본 자료들이 필요합니다. 수학에서 통계를 이용한 확률 예측도 같은 원리입니다.

 

이번에는 기계학습 이론의 출발이라고 볼 수 있는 선형회귀에 대해 알아보겠습니다(선형회귀를 발전시킨 다른 방법들도 있습니다).

 

참고로 이런 이론을 알아야만 기계학습 응용 소프트웨어를 만들 수 있는 것은 아닙니다. 왜냐하면 이런 기능이 구현된 모듈들이 있기 때문입니다. 그러니 아래 내용들은 이해가 되는 부분까지만 살펴보세요.

 

선형회귀는 쉽게 말해서 주어진 자료들을 이용하여 선형 공식으로 이끌어내는 것입니다. 그런 공식을 찾아내서 임의의 입력 값에 대해서도 예상 결과를 구할 수 있습니다.

 

아래 동영상과 위키피디아 글을 참고하세요.

 

https://youtu.be/ve6gtpZV83E

 

 

다음은 위키피디아에 있는 글입니다.

 

선형 회귀(線型回歸, 영어: linear regression

 

독립변수 1개와 종속변수 1개를 가진 선형 회귀의 예

통계학에서, 선형 회귀(線型回歸, 영어: linear regression)는 종속 변수 y와 한 개 이상의 독립 변수 (또는 설명 변수) X와의 선형 상관 관계를 모델링하는 회귀분석 기법이다. 한 개의 설명 변수에 기반한 경우에는 단순 선형 회귀, 둘 이상의 설명 변수에 기반한 경우에는 다중 선형 회귀라고 한다.[참고 1]

 

선형 회귀는 선형 예측 함수를 사용해 회귀식을 모델링하며, 알려지지 않은 파라미터는 데이터로부터 추정한다. 이렇게 만들어진 회귀식을 선형 모델이라고 한다.

 

선형 회귀는 깊이있게 연구되고 널리 사용된 첫 번째 회귀분석 기법이다.[3] 이는 알려지지 않은 파라미터에 대해 선형 관계를 갖는 모델을 세우는 것이, 비선형 관계를 갖는 모델을 세우는 것보다 용이하기 때문이다.

 

선형 회귀는 여러 사용 사례가 있지만, 대개 아래와 같은 두 가지 분류 중 하나로 요약할 수 있다.

 

값을 예측하는 것이 목적일 경우, 선형 회귀를 사용해 데이터에 적합한 예측 모형을 개발한다. 개발한 선형 회귀식을 사용해 y가 없는 x값에 대해 y를 예측하기 위해 사용할 수 있다.

종속 변수 y와 이것과 연관된 독립 변수 X1, ..., Xp가 존재하는 경우에, 선형 회귀 분석을 사용해 Xj와 y의 관계를 정량화할 수 있다. Xj는 y와 전혀 관계가 없을 수도 있고, 추가적인 정보를 제공하는 변수일 수도 있다.

일반적으로 최소제곱법(least square method)을 사용해 선형 회귀 모델을 세운다. 최소제곱법 외에 다른 기법으로도 선형 회귀 모델을 세울 수 있다. 손실 함수(loss fuction)를 최소화 하는 방식으로 선형 회귀 모델을 세울 수도 있다. 최소제곱법은 선형 회귀 모델 뿐 아니라, 비선형 회귀 모델에도 적용할 수 있다. 최소제곱법과 선형 회귀는 가깝게 연관되어 있지만, 그렇다고 해서 동의어는 아니다.

 

<이상>

반응형

+ Recent posts