2026 ADP 필기 4과목 4장 1~2절 | 텍스트 마이닝·TF-IDF·사회연결망 — 핵심 이론

필기 · 핵심 이론

텍스트와 연결망은 행·열 숫자 표와 다른 전처리·표현을 요구합니다. 문서를 어떤 토큰으로 나눌지, 단어의 중요도를 어떻게 계산할지, 관계의 방향과 가중치를 어떻게 표현할지 정해야 합니다.

1. 토큰화와 의미

토큰화·정규화·불용어 처리로 문서를 표현합니다. 한국어의 조사·어미를 고려하고 숫자와 부정어를 무조건 삭제하지 않습니다.

부정어가 사라지면 감성 방향이 바뀔 수 있습니다. 학습에서 정한 어휘와 규칙을 새 문서에도 일관되게 적용합니다.

예제로 적용하기

좋지 않다에서 않다를 지웠다. 위험은?

2. TF-IDF

TF는 문서 내 빈도, IDF는 문서 전체의 역빈도입니다. 흔한 단어의 가중치를 낮추며 로그·평활·정규화 공식은 구현마다 다릅니다.

IDF=ln(N/df)인 예제에서는 모든 문서에 나온 단어가 0입니다. 다른 도구의 기본식과 혼합하지 않습니다.

예제로 적용하기

N=10,df=10일 때 ln(N/df)는?

3. 임베딩과 코사인

임베딩은 단어·문서를 벡터로 표현합니다. 코사인 유사도는 내적을 두 벡터 길이의 곱으로 나눕니다.

영벡터와 도메인·편향을 검토합니다. 가까운 벡터가 모든 맥락에서 완전히 같은 뜻인 것은 아닙니다.

예제로 적용하기

(1,0)과(0,1)의 코사인 유사도는?

4. 연결망 중심성

연결 중심성은 연결 정도, 매개 중심성은 최단경로의 중개, 근접 중심성은 다른 노드까지 거리와 관련됩니다. 방향·가중치·단절 여부를 확인합니다.

연결이 많은 노드와 두 집단을 잇는 다리 노드는 다를 수 있습니다. 중심성만으로 인과적 영향력을 확정하지 않습니다.

예제로 적용하기

두 집단을 잇는 유일한 중간 노드의 역할을 본다. 지표는?

5. 문서·관계 검증

중복 문서·작성자·시간·관계 의존성을 분할에서 검토합니다. 서로 연결된 노드를 무작위로 나누면 독립성에 문제가 생길 수 있습니다.

대표 문서와 오분류·노드 맥락을 함께 보고 단어구름이나 큰 중심성만으로 결론을 확정하지 않습니다.

예제로 적용하기

유사 리뷰가 학습과 시험에 각각 있다. 우려는?

한눈에 비교하기

순서대로 풀어 보는 예제

문서 10개 모두에 나온 단어의 단순 IDF는 0이고 한 문서에만 나온 단어는 ln10≈2.303입니다. 높은 가중치가 업무 중요도를 뜻하지는 않으며 오타·식별자도 희귀할 수 있습니다.

A-B-C 연결망에서 B는 두 끝을 잇는 중개 역할을 합니다. 우회 경로나 방향을 바꾸면 중심성도 달라질 수 있습니다.

헷갈리는 문장 바로잡기

토큰화와 의미

잘못된 판단 부정어는 항상 무의미하다.

올바른 판단: 부정어 삭제는 문장의 의미를 바꿀 수 있다.

TF-IDF

잘못된 판단 흔할수록 IDF가 항상 크다.

올바른 판단: 단순 ln(N/df)에서 df=N이면 IDF는 0이다.

임베딩과 코사인

잘못된 판단 코사인은 벡터 합이다.

올바른 판단: 코사인 유사도는 벡터의 각도와 관련된다.

연결망 중심성

잘못된 판단 모든 중심성 순위는 같다.

올바른 판단: 매개 중심성은 경로에서의 중개 역할과 관련된다.

문서·관계 검증

잘못된 판단 중복은 성능과 무관하다.

올바른 판단: 중복과 그룹 의존성을 검증 분할에서 고려한다.

이론을 정리했다면 같은 절의 객관식 문제에서 조건과 예외를 확인하세요. 정답을 고른 뒤에는 틀린 선택지가 왜 성립하지 않는지도 설명해 보세요.

문서 빈도와 연결 구조의 반례

문서 100개 중 단어A가 100개,단어B가 10개,단어C가 1개에 등장하면 단순IDF는 0,ln10≈2.303,ln100≈4.605입니다. 단어C의 가중치가 크더라도 오타나 주문번호라면 업무 의미가 부족할 수 있습니다. 희귀성과 의미 중요도를 같은 것으로 보지 않습니다.

리뷰 분류에서는 같은 상품의 복제된 안내문이나 동일 작성자의 반복 문장이 학습·검증에 섞이는지 확인합니다. 내용이 거의 같으면 새 리뷰를 일반화한 것이 아니라 문장을 기억한 성능일 수 있습니다. 작성자·시간·상품 단위의 분할을 목적에 맞게 검토합니다.

연결망 A-B-C-D에서 B와C는 두 끝 사이 경로를 중개합니다. A-D라는 우회 연결을 추가하면 최단경로와 매개 역할이 바뀝니다. 연결수가 늘었다는 사실만으로 모든 중심성이 같은 비율로 증가하지 않으므로 지표의 정의를 구분합니다.

방향이 있는 팔로우 관계에서는 나를 따르는 수와 내가 따르는 수가 다릅니다. 링크의 방향·가중치·중복을 정의하고 단절된 노드의 거리 처리를 확인합니다. 높은 중심성을 곧바로 매출 유발의 원인으로 해석하지 않습니다.

핵심 개념 확인 — 객관식 5문제

설명을 읽은 뒤 아래 다섯 문항을 풀어 보세요. 정답을 고르고 틀린 선택지의 오류도 설명할 수 있으면 이 단원의 기준을 이해한 것입니다.

문제 1

텍스트 마이닝·TF-IDF·사회연결망에서 토큰화와 의미에 대한 설명으로 옳은 것은?

1. ① 부정어는 항상 무의미하다.
2. ② 새 문서마다 규칙을 바꿔도 동일하다.
3. ③ 한국어에는 형태적 특성이 없다.
4. ④ 부정어 삭제는 문장의 의미를 바꿀 수 있다.

문제 2

텍스트 마이닝·TF-IDF·사회연결망에서 TF-IDF에 대한 설명으로 옳은 것은?

1. ① 모든 구현식은 같다.
2. ② IDF는 문서 내 횟수만 뜻한다.
3. ③ 단순 ln(N/df)에서 df=N이면 IDF는 0이다.
4. ④ 흔할수록 IDF가 항상 크다.

문제 3

텍스트 마이닝·TF-IDF·사회연결망에서 임베딩과 코사인에 대한 설명으로 옳은 것은?

1. ① 코사인 유사도는 벡터의 각도와 관련된다.
2. ② 영벡터도 나눗셈 문제가 없다.
3. ③ 코사인은 벡터 합이다.
4. ④ 가까우면 모든 뜻이 같다.

문제 4

텍스트 마이닝·TF-IDF·사회연결망에서 연결망 중심성에 대한 설명으로 옳은 것은?

1. ① 모든 중심성 순위는 같다.
2. ② 연결 중심성은 파일 크기다.
3. ③ 방향은 무관하다.
4. ④ 매개 중심성은 경로에서의 중개 역할과 관련된다.

문제 5

텍스트 마이닝·TF-IDF·사회연결망에서 문서·관계 검증에 대한 설명으로 옳은 것은?

1. ① 중복은 성능과 무관하다.
2. ② 중복과 그룹 의존성을 검증 분할에서 고려한다.
3. ③ 관계는 분할과 무관하다.
4. ④ 단어구름은 인과 증명이다.

범위 확인

2026년 학습 범위를 기준으로 구성했습니다. 시험 시행기관의 자격 안내·출제 기준에서 과목과 변경 공지를 확인할 수 있습니다.