2026 빅데이터분석기사 필기 2과목 1장 1~2절 | 결측값·이상값·스케일링·데이터 누수 — 핵심 이론

필기 · 핵심 이론

전처리는 값을 보기 좋게 만드는 작업이 아니라 분석 가정을 지키고 정보 손실·편향을 관리하는 과정입니다. 결측과 이상값의 원인을 확인하고, 변환 규칙을 학습 데이터에서만 추정해야 검증 성능을 신뢰할 수 있습니다.

1. 결측 발생 메커니즘

MCAR는 결측 여부가 관측·비관측 값과 무관한 경우, MAR은 관측된 변수로 결측 발생을 설명할 수 있는 경우, MNAR은 결측 값 자체와 관련될 수 있는 경우입니다. 결측률만 보고 처리 방법을 확정하지 않습니다.

고소득자가 소득 응답을 피한다면 단순 평균 대체가 분포를 왜곡할 수 있습니다. MAR은 아무 조건 없이 완전히 무작위라는 뜻이 아니며, 관측 변수에 조건부라는 점이 중요합니다.

예제로 적용하기

높은 소득일수록 소득 문항 응답을 피한다. 가장 의심할 결측 유형은?

2. 대체와 삭제

평균·중앙값·최빈값 대체와 행·열 삭제는 각각 장단점이 있습니다. 평균 대체는 분산을 줄일 수 있고, 중앙값은 극단값에 덜 민감합니다. 결측 지시 변수를 추가하는 방법도 있지만 모든 문제에서 성능을 보장하지 않습니다.

대체 값은 학습 자료에서 추정한 뒤 검증·시험 자료에 적용합니다. 전체 자료 평균을 미리 구하면 검증 정보가 학습 절차에 들어가는 누수가 발생합니다.

예제로 적용하기

학습값 10,20의 평균으로 결측을 채우려 한다. 대체 값은?

3. IQR 이상값 기준

IQR=Q3-Q1이며 대표적인 탐색 기준은 Q1-1.5IQR 미만 또는 Q3+1.5IQR 초과입니다. 이는 이상 후보를 찾는 규칙이지 그 값이 반드시 오류라는 증거는 아닙니다. 진짜 고액 주문이나 드문 사고도 극단값일 수 있습니다.

삭제 전 원본과 발생 원인을 확인하고 분석 목적에 따라 유지·변환·절단을 검토합니다. 사분위수 계산 방식은 도구별 차이가 있을 수 있으므로 예제에서 Q1·Q3를 주면 그 값을 사용합니다.

예제로 적용하기

Q1=10,Q3=20일 때 위쪽 1.5IQR 경계는?

4. 표준화와 정규화

표준화 z=(x-평균)/표준편차, min-max 변환=(x-min)/(max-min)으로 구분합니다. 표준화가 분포를 정규분포로 바꾸는 것은 아닙니다. 거리 기반 모델은 변수의 단위가 거리 계산을 지배하지 않도록 스케일을 고려해야 합니다.

변환 모수는 학습 자료에서 구합니다. min-max 변환을 해도 미래 값이 학습 최댓값을 넘으면 1보다 커질 수 있습니다. 분모가 0인 상수 변수의 처리도 필요합니다.

예제로 적용하기

평균 50,표준편차 10인 변수의 값 70을 표준화하면?

5. 학습·검증 분리와 누수

분리 후 전처리 적합이 기본입니다. 결측 대체·스케일러·변수 선택 등을 전체 자료에 맞춘 뒤 나누면 평가 대상 정보가 학습에 유입될 수 있습니다. 교차검증에서도 각 폴드 안에서 전처리를 학습해야 합니다.

고객 중복·시간 순서·가족 단위처럼 데이터 간 의존성이 있으면 무작위 분리만으로 충분하지 않을 수 있습니다. 시간 예측은 미래를 과거 학습에 섞지 않는 분리 전략을 검토합니다.

예제로 적용하기

전체 데이터에서 정답과 상관이 큰 변수를 고른 뒤 교차검증했다. 문제는?

한눈에 비교하기

순서대로 풀어 보는 예제

학습 자료의 평균 50·표준편차 10으로 검증값 70을 변환하면 2입니다. 검증값까지 섞어 평균과 표준편차를 다시 계산하면 평가할 자료가 변환 기준에 참여한 것입니다. 실전에서는 파이프라인 안에 대체와 스케일링을 넣어 폴드별로 맞추는 방식이 편리합니다.

이상값 후보 100이 발견되면 원본 단위 오류인지 실제 고액 주문인지 확인합니다. 잘못된 단위를 수정하는 것과 유효한 극단값을 절단하는 것은 다른 결정이므로 처리 이유와 영향도를 기록합니다.

헷갈리는 문장 바로잡기

결측 발생 메커니즘

잘못된 판단 MAR과 MCAR은 완전히 같은 정의다.

올바른 판단: MAR은 관측된 변수에 조건부로 결측 발생을 설명할 수 있는 경우다.

대체와 삭제

잘못된 판단 검증 평균까지 섞어야 올바른 일반화 평가다.

올바른 판단: 대체 규칙은 학습 자료에서 추정하고 검증 자료에는 같은 규칙을 적용한다.

IQR 이상값 기준

잘못된 판단 이상값 후보는 언제나 입력 오류다.

올바른 판단: IQR 경계 밖의 값도 실제 유효한 관측일 수 있다.

표준화와 정규화

잘못된 판단 표준화하면 모든 자료가 반드시 정규분포가 된다.

올바른 판단: 표준화는 평균과 표준편차로 단위를 맞추며 정규분포를 보장하지 않는다.

학습·검증 분리와 누수

잘못된 판단 전체 데이터에 변수 선택 후 교차검증하면 언제나 누수가 없다.

올바른 판단: 교차검증에서도 전처리 적합은 각 학습 폴드 안에서 수행한다.

이론을 정리했다면 같은 절의 객관식 문제에서 조건과 예외를 확인하세요. 정답을 고른 뒤에는 틀린 선택지가 왜 성립하지 않는지도 설명해 보세요.

표를 보며 따라가는 계산 예제

결측 수

열별 결측 수와 전체 행 수를 구하세요.

미입력은 0과 다릅니다. 빈 문자열로 읽었는지도 확인합니다.

중앙값

관측된 amount11개의 중앙값을 구하세요.

정렬하면 30,40,60,70,80,100,100,110,120,150,200으로 가운데 6번째가 100입니다.

대체

amount 결측을 100으로 대체한 뒤 합계를 구하세요.

원래 관측 합 1160에 100을 더합니다. visits 결측과 다른 변수이므로 별도로 처리합니다.

평균 비교

대체 전 NULL 제외 평균과 대체 후 평균을 비교하세요.

중앙값 대체가 평균과 분산을 바꿀 수 있음을 확인합니다.

핵심 개념 확인 — 객관식 5문제

설명을 읽은 뒤 아래 다섯 문항을 풀어 보세요. 정답을 고르고 틀린 선택지의 오류도 설명할 수 있으면 이 단원의 기준을 이해한 것입니다.

문제 1

결측값·이상값·스케일링·데이터 누수에서 결측 발생 메커니즘에 대한 설명으로 옳은 것은?

1. ① MNAR은 결측 값과 아무 관련이 없다.
2. ② 결측률만 알면 발생 원인이 확정된다.
3. ③ MAR은 관측된 변수에 조건부로 결측 발생을 설명할 수 있는 경우다.
4. ④ MAR과 MCAR은 완전히 같은 정의다.

문제 2

결측값·이상값·스케일링·데이터 누수에서 대체와 삭제에 대한 설명으로 옳은 것은?

1. ① 대체 규칙은 학습 자료에서 추정하고 검증 자료에는 같은 규칙을 적용한다.
2. ② 평균 대체는 분포와 분산을 항상 그대로 보존한다.
3. ③ 검증 평균까지 섞어야 올바른 일반화 평가다.
4. ④ 중앙값은 모든 모델에서 무조건 최선이다.

문제 3

결측값·이상값·스케일링·데이터 누수에서 IQR 이상값 기준에 대한 설명으로 옳은 것은?

1. ① 이상값 후보는 언제나 입력 오류다.
2. ② 경계를 벗어나면 근거 없이 모두 삭제해야 한다.
3. ③ IQR 경계 밖의 값도 실제 유효한 관측일 수 있다.
4. ④ IQR은 최댓값-최솟값이다.

문제 4

결측값·이상값·스케일링·데이터 누수에서 표준화와 정규화에 대한 설명으로 옳은 것은?

1. ① 표준화는 평균과 표준편차로 단위를 맞추며 정규분포를 보장하지 않는다.
2. ② 표준화하면 모든 자료가 반드시 정규분포가 된다.
3. ③ 미래 min-max 값은 무조건 0~1이다.
4. ④ 스케일은 KNN 거리와 무관하다.

문제 5

결측값·이상값·스케일링·데이터 누수에서 학습·검증 분리와 누수에 대한 설명으로 옳은 것은?

1. ① 시험자료는 모델 선택에 매번 사용해도 독립 평가다.
2. ② 시간 순서는 예측 평가와 무관하다.
3. ③ 교차검증에서도 전처리 적합은 각 학습 폴드 안에서 수행한다.
4. ④ 전체 데이터에 변수 선택 후 교차검증하면 언제나 누수가 없다.

범위 확인

2026년 학습 범위를 기준으로 구성했습니다. 시험 시행기관의 자격 안내·출제 기준에서 과목과 변경 공지를 확인할 수 있습니다.