2026 ADP 필기 4과목 3장 1~2절 | 분류분석·로지스틱·나무·앙상블 — 핵심 이론

필기 · 핵심 이론

분류는 범주형 목표를 예측하는 지도학습입니다. 확률을 추정하는 일과 임계값으로 최종 범주를 정하는 일을 나눠 봅니다. 데이터 분할·불균형·모형의 복잡도까지 함께 고려해야 모델을 올바르게 비교할 수 있습니다.

1. 로지스틱 회귀

로지스틱 회귀는 선형 예측자를 로지스틱 함수에 연결해 확률을 모델링합니다. logit(p)=log(p/(1-p))이고 계수β의 지수 exp(β)는 다른 변수 고정 시 오즈비로 해석합니다. 확률비와 오즈비는 다릅니다.

확률을 0.5로 자르는 것은 선택 가능한 정책이지 모형의 필수 조건은 아닙니다. 오탐·미탐 비용과 클래스 비율에 따라 임계값을 검증 자료에서 정합니다.

예제로 적용하기

확률 0.8의 오즈는?

2. 의사결정나무

나무는 분할 조건을 반복하여 영역을 나누고 예측합니다. 분류에서는 지니 불순도·엔트로피 같은 기준을 사용할 수 있습니다. 깊이가 커지면 학습 자료를 잘 맞추지만 과적합 위험이 늘 수 있어 가지치기·깊이 제한 등을 검토합니다.

나무는 규칙을 설명하기 쉬운 편이지만 데이터의 작은 변화에 구조가 바뀔 수 있습니다. 개별 나무와 여러 나무를 결합한 앙상블의 특성을 구분하세요.

예제로 적용하기

양성비율 0.5,음성비율 0.5인 노드의 지니 불순도는?

3. KNN과 거리

KNN은 가까운 이웃의 목표를 사용해 예측합니다. k가 너무 작으면 잡음에 민감하고 크면 국소 패턴을 놓칠 수 있습니다. 거리와 변수 스케일, 범주 인코딩, 차원의 저주를 고려해야 합니다.

학습 단계가 간단해도 예측 시 거리 계산 비용이 클 수 있습니다. 최적 k는 검증으로 정하며 시험자료를 반복해서 보며 고르지 않습니다.

예제로 적용하기

가까운 3명의 라벨이A,A,B이면 다수결 KNN의 예측은?

4. 배깅과 랜덤포레스트

배깅은 부트스트랩 자료에 여러 모형을 적합해 결합합니다. 랜덤포레스트는 나무의 각 분할에서 일부 변수 후보를 무작위로 선택하여 나무 간 상관을 줄이는 전략을 더합니다. 주로 분산 감소와 안정성 개선을 기대합니다.

나무 수를 늘리는 것만으로 모든 편향·누수가 해결되지는 않습니다. 변수 중요도는 정의와 편향을 확인하고, 중요도가 높다고 원인이라고 단정하지 않습니다.

예제로 적용하기

서로 다른 부트스트랩 자료의 나무 예측을 평균·투표로 결합한다. 가까운 개념은?

5. 부스팅과 과적합 관리

부스팅은 모형을 순차적으로 추가하며 이전의 오류나 손실을 개선합니다. 학습률·나무 수·깊이·정규화·조기 종료가 복잡도에 영향을 줍니다. 대표 방법마다 세부 학습 규칙은 다르므로 하나의 구현 규칙을 전부에 적용하지 않습니다.

강력한 모델도 전처리 누수와 잘못된 평가를 해결해 주지 않습니다. 같은 분할·같은 지표에서 단순 기준모형과 비교하고, 하이퍼파라미터 선택은 검증 자료로 수행합니다.

예제로 적용하기

검증 손실이 증가하기 시작하는데 학습 손실만 계속 줄어든다. 의심할 현상은?

한눈에 비교하기

순서대로 풀어 보는 예제

확률 0.8의 오즈는 4이며, 로지스틱 모형에서 어떤 변수의 exp(β)=2이면 그 변수가 1단위 커질 때 다른 조건을 고정한 오즈가 2배입니다. 확률이 무조건 2배가 되는 것은 아닙니다.

사기 탐지는 정상 건수가 훨씬 많을 수 있으므로 정확도만 비교하면 모두 정상으로 예측하는 모델도 높게 나옵니다. 재현율·정밀도·PR-AUC와 오탐 비용을 함께 고려하여 모형과 임계값을 선택합니다.

헷갈리는 문장 바로잡기

로지스틱 회귀

잘못된 판단 로지스틱 회귀 확률은 반드시 1을 넘는다.

올바른 판단: 로지스틱 회귀 계수의 지수는 조건부 오즈비로 해석할 수 있다.

의사결정나무

잘못된 판단 깊을수록 미래 성능은 무조건 좋아진다.

올바른 판단: 나무의 복잡도를 제한하면 과적합을 줄이는 데 도움이 될 수 있다.

KNN과 거리

잘못된 판단 KNN은 단위를 바꾸어도 모든 결과가 항상 같다.

올바른 판단: KNN은 거리와 변수 스케일의 영향을 받는다.

배깅과 랜덤포레스트

잘못된 판단 랜덤포레스트의 모든 나무는 반드시 같은 분할만 한다.

올바른 판단: 랜덤포레스트는 부트스트랩과 분할 변수 무작위 선택을 활용한다.

부스팅과 과적합 관리

잘못된 판단 부스팅은 모든 모형을 완전히 독립 병렬 학습하는 것만 뜻한다.

올바른 판단: 부스팅은 여러 약한 모형을 순차적으로 결합하는 접근이다.

이론을 정리했다면 같은 절의 객관식 문제에서 조건과 예외를 확인하세요. 정답을 고른 뒤에는 틀린 선택지가 왜 성립하지 않는지도 설명해 보세요.

표를 보며 따라가는 계산 예제

학습·시험 분리

train의 churn을 타깃으로 정하고 test에 타깃이 없는지 확인하세요.

id는 제출용으로 보관하고 입력에서 제외합니다.

검증 분리

계층화한 80:20 분할과 시드 42를 사용하세요.

전처리는 학습 부분으로만 적합합니다. 최종 test는 선택에 사용하지 않습니다.

전처리

숫자는 중앙값 대체, 지역은 최빈값 대체 후 원핫 인코딩하세요.

새 범주 처리와 동일한 열 구조를 유지합니다.

평가

검증 ROC-AUC·정밀도·재현율을 확인하세요.

확률과 범주를 지표에 맞게 사용하고 정확도 하나만 보지 않습니다.

핵심 개념 확인 — 객관식 5문제

설명을 읽은 뒤 아래 다섯 문항을 풀어 보세요. 정답을 고르고 틀린 선택지의 오류도 설명할 수 있으면 이 단원의 기준을 이해한 것입니다.

문제 1

분류분석·로지스틱·나무·앙상블에서 로지스틱 회귀에 대한 설명으로 옳은 것은?

1. ① 오즈는 언제나 확률과 같다.
2. ② 로지스틱 회귀 확률은 반드시 1을 넘는다.
3. ③ 로지스틱 회귀 계수의 지수는 조건부 오즈비로 해석할 수 있다.
4. ④ 분류 임계값은 어떤 문제든 반드시 0.5다.

문제 2

분류분석·로지스틱·나무·앙상블에서 의사결정나무에 대한 설명으로 옳은 것은?

1. ① 나무는 범주를 예측할 수 없다.
2. ② 나무의 복잡도를 제한하면 과적합을 줄이는 데 도움이 될 수 있다.
3. ③ 깊을수록 미래 성능은 무조건 좋아진다.
4. ④ 순수한 노드의 지니 불순도는 항상 1이다.

문제 3

분류분석·로지스틱·나무·앙상블에서 KNN과 거리에 대한 설명으로 옳은 것은?

1. ① KNN은 거리와 변수 스케일의 영향을 받는다.
2. ② k=1이면 언제나 최상의 일반화다.
3. ③ KNN은 학습 자료를 전혀 참고하지 않는다.
4. ④ KNN은 단위를 바꾸어도 모든 결과가 항상 같다.

문제 4

분류분석·로지스틱·나무·앙상블에서 배깅과 랜덤포레스트에 대한 설명으로 옳은 것은?

1. ① 배깅은 이전 오차를 순차 수정하는 방식만 뜻한다.
2. ② 변수 중요도는 인과효과의 증명이다.
3. ③ 랜덤포레스트의 모든 나무는 반드시 같은 분할만 한다.
4. ④ 랜덤포레스트는 부트스트랩과 분할 변수 무작위 선택을 활용한다.

문제 5

분류분석·로지스틱·나무·앙상블에서 부스팅과 과적합 관리에 대한 설명으로 옳은 것은?

1. ① 부스팅은 여러 약한 모형을 순차적으로 결합하는 접근이다.
2. ② 학습률은 모형 복잡도와 무관하다.
3. ③ 시험자료로 튜닝해도 독립 최종 평가다.
4. ④ 부스팅은 모든 모형을 완전히 독립 병렬 학습하는 것만 뜻한다.

범위 확인

2026년 학습 범위를 기준으로 구성했습니다. 시험 시행기관의 자격 안내·출제 기준에서 과목과 변경 공지를 확인할 수 있습니다.