2026 빅데이터분석기사 필기 3과목 2장 1절 | 회귀분석·회귀계수·모형 진단 — 핵심 이론

필기 · 핵심 이론

회귀분석에서는 예측 식을 만드는 일과 계수의 의미를 해석하는 일을 구별합니다. 다른 변수를 고정했을 때의 변화, 오차 가정, 설명력과 일반화 성능을 차례로 확인합니다. 높은 R²만으로 좋은 모형이라고 결론 내리지 마세요.

1. 최소제곱과 잔차

최소제곱법은 관측값과 예측값의 차이인 잔차의 제곱합을 최소화합니다. 잔차는 y-ŷ입니다. 절편을 포함한 일반적인 학습 OLS에서 잔차 합은 0이지만 절편 없는 모형이나 새로운 자료에서는 같은 성질을 그대로 기대할 수 없습니다.

잔차 제곱은 큰 오차에 더 큰 가중을 주므로 이상값의 영향을 살펴야 합니다. 예측 오차를 평가할 때는 학습 잔차뿐 아니라 검증 자료에서의 오차를 별도로 계산합니다.

예제로 적용하기

관측값 10,예측값 8의 잔차와 제곱오차는?

2. 회귀계수의 해석

다중회귀의 계수는 다른 설명변수를 고정했을 때 해당 변수가 1단위 변하면 예측값이 얼마나 변하는지를 뜻합니다. y=10+2x이면 x가 3일 때 16입니다. 범주형 변수는 기준 범주와의 차이로 해석합니다.

회귀계수는 자료와 모형 조건 아래의 관계이며 인과효과가 자동 증명된 것은 아닙니다. 상호작용이나 로그 변환이 포함되면 계수 해석도 바뀌므로 식의 형태와 단위를 함께 봅니다.

예제로 적용하기

ŷ=10+2x에서 x가 3에서 5로 바뀌면 예측값 변화는?

3. R²와 수정 R²

절편을 포함한 OLS의 R²=1-SSE/SST는 학습 자료 변동 중 모형이 설명한 비율입니다. 변수를 추가하면 학습 R²는 보통 감소하지 않지만 수정 R²는 불필요한 변수 추가에 패널티를 줍니다.

검증 자료의 R²는 음수가 될 수 있습니다. 학습 R²가 높아도 과적합·누수·잘못된 외삽이면 미래 성능이 나쁠 수 있습니다. 모델 선택에는 교차검증 오차와 해석 가능성도 함께 고려합니다.

예제로 적용하기

SST=100,SSE=20인 절편 포함 회귀의 R²는?

4. 오차 가정과 진단

선형회귀의 추론에서는 선형성·오차 독립성·등분산성·정규성 등을 검토합니다. 정규성은 보통 설명변수 자체가 아니라 오차에 대한 가정입니다. 잔차-예측값 그림, Q-Q plot, 시간 순서 잔차를 목적에 맞게 봅니다.

잔차가 깔때기 모양이면 이분산을 의심할 수 있고 시간적 패턴이면 독립성 문제를 살펴야 합니다. 가정 위반의 성격에 따라 변환·강건 표준오차·다른 모형 등을 검토합니다.

예제로 적용하기

예측값이 커질수록 잔차의 퍼짐이 넓어진다. 우선 의심할 문제는?

5. 다중공선성과 규제

설명변수 간 강한 선형 관계는 다중공선성으로 계수 추정이 불안정해질 수 있습니다. VIF가 큰 변수를 살펴보고 변수 구성·도메인·예측 목적을 검토합니다. 상관이 높다는 이유만으로 모든 변수를 무조건 삭제하지 않습니다.

Ridge는 L2, Lasso는 L1 벌점을 사용하며 Lasso는 계수를 0으로 만들어 선택 효과를 낼 수 있습니다. 벌점 강도는 검증으로 정하고 스케일의 영향을 관리합니다.

예제로 적용하기

거의 같은 두 매출 변수를 넣었더니 계수 부호가 크게 바뀐다. 검토할 것은?

한눈에 비교하기

순서대로 풀어 보는 예제

ŷ=10+2x에서 x=1,2,3의 예측은 12,14,16입니다. 실제 값이 13,13,17이라면 잔차는 1,-1,1이고 SSE는 3입니다. 이 식은 예측을 계산하는 데 쓰지만 계수 2가 인과효과라고 말하려면 설계와 교란을 추가 검토해야 합니다.

학습 구간x=1~10에서 잘 맞았다고 x=100에서도 같은 선형 관계가 유지된다고 가정하는 것은 외삽입니다. 적용 범위를 확인하고 검증 구간을 분리해 오차와 잔차 패턴을 함께 점검합니다.

헷갈리는 문장 바로잡기

최소제곱과 잔차

잘못된 판단 OLS는 잔차의 절댓값 합만 최소화한다.

올바른 판단: OLS는 잔차 제곱합을 최소화한다.

회귀계수의 해석

잘못된 판단 계수는 언제나 인과효과를 확정한다.

올바른 판단: 다중회귀 계수는 다른 변수를 고정한 조건부 변화로 해석한다.

R²와 수정 R²

잘못된 판단 변수를 추가하면 수정 R²는 언제나 증가한다.

올바른 판단: 학습 R² 상승만으로 일반화 성능 개선을 보장할 수 없다.

오차 가정과 진단

잘못된 판단 회귀의 정규성은 모든 x가 반드시 정규분포라는 뜻이다.

올바른 판단: 잔차의 깔때기 모양은 이분산 가능성을 시사한다.

다중공선성과 규제

잘못된 판단 Ridge는 반드시 모든 계수를 0으로 만든다.

올바른 판단: Lasso의 L1 규제는 일부 계수를 0으로 만들 수 있다.

이론을 정리했다면 같은 절의 객관식 문제에서 조건과 예외를 확인하세요. 정답을 고른 뒤에는 틀린 선택지가 왜 성립하지 않는지도 설명해 보세요.

표를 보며 따라가는 계산 예제

타깃 확인

train의 target을 분리하고 id를 입력에서 제외하세요.

test에는 target이 없습니다. 식별자와 예측변수를 구분합니다.

검증 분리

80:20 분할과 시드 42를 사용하세요.

검증 자료와 최종 test는 역할이 다릅니다.

기준모형

학습 타깃의 평균을 모든 검증 행에 예측하고 RMSE를 구하세요.

복잡한 모형이 기준선을 개선하는지 확인합니다.

모형 평가

전처리와 랜덤포레스트 회귀를 연결해 RMSE·MAE를 비교하세요.

설정은 검증으로 고르고 학습 점수만 비교하지 않습니다.

핵심 개념 확인 — 객관식 5문제

설명을 읽은 뒤 아래 다섯 문항을 풀어 보세요. 정답을 고르고 틀린 선택지의 오류도 설명할 수 있으면 이 단원의 기준을 이해한 것입니다.

문제 1

회귀분석·회귀계수·모형 진단에서 최소제곱과 잔차에 대한 설명으로 옳은 것은?

1. ① OLS는 잔차의 절댓값 합만 최소화한다.
2. ② 잔차는 언제나 예측값과 같다.
3. ③ 학습 잔차가 작으면 미래 오차도 반드시 작다.
4. ④ OLS는 잔차 제곱합을 최소화한다.

문제 2

회귀분석·회귀계수·모형 진단에서 회귀계수의 해석에 대한 설명으로 옳은 것은?

1. ① 절편은 어떤 경우에도 실제 관측 범위 안이다.
2. ② 변수의 단위는 계수 해석과 무관하다.
3. ③ 다중회귀 계수는 다른 변수를 고정한 조건부 변화로 해석한다.
4. ④ 계수는 언제나 인과효과를 확정한다.

문제 3

회귀분석·회귀계수·모형 진단에서 R²와 수정 R²에 대한 설명으로 옳은 것은?

1. ① 변수를 추가하면 수정 R²는 언제나 증가한다.
2. ② 학습 R² 상승만으로 일반화 성능 개선을 보장할 수 없다.
3. ③ R²는 계수의 인과성을 증명한다.
4. ④ 검증 R²는 어떤 경우에도 음수가 불가능하다.

문제 4

회귀분석·회귀계수·모형 진단에서 오차 가정과 진단에 대한 설명으로 옳은 것은?

1. ① 잔차 패턴은 진단에 쓸 수 없다.
2. ② 등분산은 모든 관측값이 같은 값이라는 뜻이다.
3. ③ 잔차의 깔때기 모양은 이분산 가능성을 시사한다.
4. ④ 회귀의 정규성은 모든 x가 반드시 정규분포라는 뜻이다.

문제 5

회귀분석·회귀계수·모형 진단에서 다중공선성과 규제에 대한 설명으로 옳은 것은?

1. ① Ridge는 반드시 모든 계수를 0으로 만든다.
2. ② Lasso의 L1 규제는 일부 계수를 0으로 만들 수 있다.
3. ③ 규제 강도는 시험자료 성능을 보고 매번 정해야 한다.
4. ④ 다중공선성은 언제나 y의 중복 행만 뜻한다.

범위 확인

2026년 학습 범위를 기준으로 구성했습니다. 시험 시행기관의 자격 안내·출제 기준에서 과목과 변경 공지를 확인할 수 있습니다.