2026 ADsP 필기 3과목 3장 1~2절 | 모형 평가·혼동행렬·교차검증 — 핵심 이론

필기 · 핵심 이론

모형 평가는 목표와 오류 비용에 맞는 지표를 선택하는 과정입니다. 정답을 맞힌 전체 비율과 양성을 놓치지 않는 비율은 다릅니다. 같은 데이터 분할과 지표에서 비교하고 최종 시험자료는 선택 과정과 분리합니다.

1. 혼동행렬의 방향

TP는 실제 양성을 양성으로, FP는 실제 음성을 양성으로, FN은 실제 양성을 음성으로, TN은 실제 음성을 음성으로 예측한 수입니다. 행·열 배치가 표마다 다를 수 있으므로 축 이름부터 확인합니다.

양성 라벨을 무엇으로 정했는지도 중요합니다. 사기 탐지에서 사기를 양성으로 둘 때와 정상으로 둘 때 재현율의 의미가 달라집니다. 숫자를 외우기보다 문장으로 해석하세요.

예제로 적용하기

실제 환자인데 음성으로 판정했다. 분류는?

2. 정밀도·재현율·F1

정밀도=TP/(TP+FP), 재현율=TP/(TP+FN)입니다. F1은 둘의 조화평균으로 2PR/(P+R)입니다. 분모가 0인 경우 처리 규칙을 확인해야 합니다.

정밀도는 양성 예측의 신뢰성, 재현율은 실제 양성을 얼마나 찾았는지에 답합니다. 어느 지표가 중요한지는 오탐·미탐 비용과 후속 처리 능력에 따라 달라집니다.

예제로 적용하기

TP=30,FP=10,FN=20이면 정밀도와 재현율은?

3. ROC·PR과 임계값

ROC는 임계값에 따른 TPR과 FPR을, PR곡선은 정밀도와 재현율을 봅니다. 양성이 드문 문제에서는 PR 관점이 유용할 수 있습니다. AUC는 순위화 성능의 요약이며 특정 임계값의 비용을 직접 나타내지는 않습니다.

임계값을 낮추면 양성 예측이 늘어 일반적으로 재현율이 증가하고 오탐도 늘 수 있습니다. 검증 자료로 정책을 정하고 시험자료는 최종 평가에 남깁니다.

예제로 적용하기

질병을 놓치는 비용이 매우 크다. 임계값 검토에서 특히 중요한 지표는?

4. 회귀 평가 지표

MAE는 절대오차 평균, MSE는 제곱오차 평균, RMSE는 MSE의 제곱근입니다. RMSE는 큰 오차에 더 민감하고 원자료와 같은 단위입니다. MAPE는 실제값 0 또는 0근처에서 불안정해질 수 있습니다.

지표의 단위와 극단 오차의 비용을 고려합니다. 로그 타깃에서 계산한 오차와 원 단위로 복원한 오차가 다른 의미라는 점도 확인하세요.

예제로 적용하기

오차가 1과 3이면 MAE와RMSE는?

5. 검증과 최종 평가

학습·검증·시험은 적합·선택·최종 평가 역할을 나눕니다. k겹 교차검증은 검증을 여러 번 바꿔 성능 변동을 살피지만 폴드 내 전처리와 데이터 의존성을 관리해야 합니다.

여러 모델 중 가장 좋은 점수를 고르는 과정도 과적합될 수 있습니다. 최종 시험자료를 반복해서 들여다보면 독립 평가 역할이 약해지므로 선택 절차와 분리합니다.

예제로 적용하기

시험 점수를 보고 50번 모델을 수정한 뒤 같은 시험 점수를 최종 성능으로 발표했다. 우려는?

한눈에 비교하기

순서대로 풀어 보는 예제

TP30,FP10,FN20,TN40이면 정확도 70%,정밀도 75%,재현율 60%,F1은약 66.67%입니다. 서로 다른 질문에 답하는 수치이므로 숫자가 높은 지표 하나만 골라 좋은 모델이라고 주장하지 않습니다.

정상 990건·사기 10건에서 모두 정상으로 예측하면 정확도 99%이지만 사기 재현율 0%입니다. 사기 탐지의 목적에 맞춰 PR지표·비용·검토 가능 건수까지 함께 보아야 합니다.

헷갈리는 문장 바로잡기

혼동행렬의 방향

잘못된 판단 FP는 실제 양성을 놓친 경우다.

올바른 판단: FN은 실제 양성을 음성으로 예측하여 놓친 경우다.

정밀도·재현율·F1

잘못된 판단 정밀도와 재현율은 항상 같다.

올바른 판단: 재현율은 실제 양성 중 찾아낸 비율이다.

ROC·PR과 임계값

잘못된 판단 AUC가 높으면 어떤 임계값도 비용이 같다.

올바른 판단: 임계값 선택은 오류 비용과 운영 목표를 함께 고려한다.

회귀 평가 지표

잘못된 판단 MSE는 원자료와 언제나 같은 단위다.

올바른 판단: RMSE는 큰 오차에 상대적으로 민감하며 타깃과 같은 단위다.

검증과 최종 평가

잘못된 판단 시험자료로 매번 튜닝하면 더 공정한 최종 평가다.

올바른 판단: 최종 시험자료는 모델·임계값 선택과 분리해 사용한다.

이론을 정리했다면 같은 절의 객관식 문제에서 조건과 예외를 확인하세요. 정답을 고른 뒤에는 틀린 선택지가 왜 성립하지 않는지도 설명해 보세요.

임계값을 낮출 때 바뀌는 비용

실제 양성 100건 중 임계값 0.5에서 60건을 찾고 오탐 20건이 발생했다면 재현율 60%,정밀도 75%입니다. 임계값을 낮춰 80건을 찾고 오탐 80건이 되면 재현율 80%,정밀도 50%입니다. 양성을 더 찾았지만 확인해야 할 대상도 80명에서 160명으로 늘었습니다.

미탐 1건 비용이 10만원,오탐 1건 비용이 1만원이면 첫 정책의 비용은 40×10+20×1=420만원이고 두 번째는 20×10+80×1=280만원입니다. 이 가정에서는 두 번째가 유리하지만 상담 인력이 160건을 처리할 수 있는지와 다른 부작용도 검토해야 합니다.

비용·처리 능력·정책을 검증 자료에서 정한 뒤 최종 시험에서 평가합니다. 같은 시험의 점수를 보고 임계값을 계속 바꾸면 그 시험자료는 선택에 사용된 셈이므로 새로운 자료에서의 성능을 별도로 확인해야 합니다.

핵심 개념 확인 — 객관식 5문제

설명을 읽은 뒤 아래 다섯 문항을 풀어 보세요. 정답을 고르고 틀린 선택지의 오류도 설명할 수 있으면 이 단원의 기준을 이해한 것입니다.

문제 1

모형 평가·혼동행렬·교차검증에서 혼동행렬의 방향에 대한 설명으로 옳은 것은?

1. ① FP는 실제 양성을 놓친 경우다.
2. ② FN은 실제 양성을 음성으로 예측하여 놓친 경우다.
3. ③ 표의 행·열 이름은 항상 같은 위치다.
4. ④ TP는 실제 음성을 양성으로 오탐한 경우다.

문제 2

모형 평가·혼동행렬·교차검증에서 정밀도·재현율·F1에 대한 설명으로 옳은 것은?

1. ① 재현율은 실제 양성 중 찾아낸 비율이다.
2. ② F1은 두 값의 단순 산술평균이다.
3. ③ 정밀도와 재현율은 항상 같다.
4. ④ 재현율의 분모는 모든 음성이다.

문제 3

모형 평가·혼동행렬·교차검증에서 ROC·PR과 임계값에 대한 설명으로 옳은 것은?

1. ① 임계값 선택은 오류 비용과 운영 목표를 함께 고려한다.
2. ② ROC-AUC는 인과효과다.
3. ③ 임계값을 낮추면 양성 예측은 언제나 줄어든다.
4. ④ AUC가 높으면 어떤 임계값도 비용이 같다.

문제 4

모형 평가·혼동행렬·교차검증에서 회귀 평가 지표에 대한 설명으로 옳은 것은?

1. ① MSE는 원자료와 언제나 같은 단위다.
2. ② MAPE는 실제값 0에서 언제나 안정적이다.
3. ③ MAE는 오차 부호를 그대로 평균한다.
4. ④ RMSE는 큰 오차에 상대적으로 민감하며 타깃과 같은 단위다.

문제 5

모형 평가·혼동행렬·교차검증에서 검증과 최종 평가에 대한 설명으로 옳은 것은?

1. ① 교차검증을 하면 어떤 누수도 불가능하다.
2. ② 같은 고객이 학습·검증에 겹쳐도 항상 독립이다.
3. ③ 최종 시험자료는 모델·임계값 선택과 분리해 사용한다.
4. ④ 시험자료로 매번 튜닝하면 더 공정한 최종 평가다.

범위 확인

2026년 학습 범위를 기준으로 구성했습니다. 시험 시행기관의 자격 안내·출제 기준에서 과목과 변경 공지를 확인할 수 있습니다.