Linear Regression

Linear Regression

• Definition: It is a linear approach for modeling the relationship between a scalar response and one or more explanatory variables
• 알려진 데이터 값을 사용하여 알 수 없는 데이터를 예측하는 분석 기법
• 독립변인(x)이 종속변인(y)에 영향을 미치는지 알아보고자 하는 분석 방법
• 한 개의 설명변수(x)에 기반한 경우 단순 선형 회귀
• 두 개 이상의 설명변수(x)에 기반한 경우 다중 선형 회귀

용어

• 종속 변수(Dependent variable)=반응변수=y=다른 변수로부터 영향을 받는 변수=결과
• 독립 변수(Independent variable)=설명변수=x=다른 변수에 영향을 주는 변수=원
• 가중치: 입력신호가 결과 출력에 주는 영향도를 조절하는 매개변수
• 편향: model의 output과 실제 값 사이의 제곱 error
• 분산: 예측값끼리의 관계

빨간 점: 사람이 정해준 정답 (True)

파란 점: 컴퓨터가 예측한 값 (Predicted Value)

왼쪽 위 오른쪽 위 왼쪽 아래 오른쪽 아래

예측값과 정답간의 관계 (편향)	편향 낮음	편향 낮음	편향 높음	편향 높음
예측값과의 관계 (분산)	분산 낮음	분산 높음	분산 낮음	분산 높

목적

E(w)가 최소화하는 w를 찾아야 함

$$ E(w)=\sum_{i=1}^{n}|f(x_{i})-y{i}| = \sum_{i=1}^{n}(f(x_{i})-y{i})^2 $$

$$ f(x_{i})=w_{0} +w_{1}x_{1}+w_{2}x_{2}+w_{d}x_{id}=w_{0} + \sum_{j=1}^{d}w_{j}x_{ij} $$

최소화하기 위해 wj로 미분해서 0이 나오는 것을 찾기

행렬로 바꾸어 계산하기

Aw=b

w= A^-1b

w= (X^TX)^-1(X^TY)