5 분 소요

— 고위험이 아니라, 허용 불가

Series B. EU AI Act: 새 법인가, 기존 법의 확장인가 | B-2-1 (B-2 보충편) 이전 글: [B-2] ‘고위험 AI’란 무엇인가: 리스크 평가의 논리 다음 글: [B-3] AI가 업데이트되면 인증을 다시 받아야 하나

B-2에서 피라미드의 꼭대기를 요약했다. 이 보충편에서 8가지 금지 관행 각각의 논리와, 한국에 없는 빈칸을 상세히 짚는다.

법의 가장 강한 표현은 “하지 마라”가 아니다.

“존재해서는 안 된다”이다.

고위험 AI는 만들 수 있되 조건을 지키라는 것이다. 최소 리스크 AI는 마음대로 하라는 것이다. 그런데 금지 AI는 다르다. 만드는 것 자체가 불법이다. 시장에 내놓을 수 없고, 서비스할 수 없고, 사용할 수 없다.

EU AI Act Article 5. 세계 최초로 특정 AI 관행을 전면 금지한 조항이다. 2025년 2월 2일부터 이미 시행 중이다.[^1]

왜 고위험이 아니라 금지인가. 고위험 AI는 리스크 관리가 가능한 영역이다. 적절한 조치를 취하면 해를 줄일 수 있다. 금지 AI는 리스크 관리 자체가 의미 없는 영역이다. 어떤 안전장치를 달아도 인간 존엄에 대한 침해가 본질적으로 내재해 있다고 EU가 판단한 것이다.

하나씩 들여다보자.

1. 잠재의식 조작 (Subliminal Techniques)

Article 5(1)(a).

사람이 인식하지 못하는 방식으로, 그 사람의 행동을 실질적으로 왜곡하여 상당한 해를 끼치거나 끼칠 가능성이 있는 AI.

핵심은 “인식하지 못하는(beyond a person’s consciousness)”이다. 사람이 자신이 조작당하고 있다는 사실을 모른다. 선택의 자유가 박탈되는 것이 아니라, 선택의 자유가 있다는 착각 속에서 박탈된다.

일반 광고는 사람이 광고임을 안다. 추천 알고리즘도 사용자가 추천임을 인식한다. 그런데 잠재의식 기법은 사용자가 영향 받고 있다는 사실 자체를 모른다.

2. 취약성 악용 (Exploiting Vulnerabilities)

Article 5(1)(b).

나이, 장애, 또는 특정 사회적·경제적 상황에서 오는 취약성을 악용하여 행동을 왜곡하는 AI.

어린이에게 과금 유도하는 AI, 노인의 디지털 취약성을 이용하는 AI, 경제적 곤궁에 처한 사람에게 약탈적 대출을 유도하는 AI.

첫 번째 금지(잠재의식 조작)가 “방법”의 금지라면, 이것은 “대상”의 보호다. 스스로를 방어할 능력이 부족한 사람을 겨냥하는 것 자체를 금지한다.

3. 사회적 평점 (Social Scoring)

Article 5(1)(c).

사회적 행동 또는 알려진·추론된 개인 특성에 기반해 사람을 분류하고, 그 분류에 따라 불이익한 대우를 하는 AI.

중국의 사회신용시스템이 직접적 참조점이다. EU는 이를 명시적으로 거부했다. 한 사람의 사회적 행동 이력을 종합 점수화하고, 그 점수에 따라 서비스 접근을 차등하는 것.

두 가지 조건이 모두 충족되어야 금지다. 사회적 행동 기반 분류 + 불이익한 대우. 신용평가(특정 금융 맥락의 점수화)는 이 조항에 해당하지 않는다.[^2]

4. 개인 범죄 리스크 예측

Article 5(1)(d).

프로파일링에만 기반하여 자연인의 범죄 행위 리스크를 평가하거나 예측하는 AI.

영화 「마이너리티 리포트」의 Pre-Crime 시스템. EU는 이를 금지했다. 과거 범죄 이력, 거주 지역, 사회적 특성 등을 조합해 “이 사람이 범죄를 저지를 확률”을 산출하는 것.

단, 객관적이고 검증 가능한 사실에 기반한 리스크 평가(예: 테러 자금세탁 모니터링)는 예외될 수 있다. 금지되는 것은 프로파일링만으로 개인을 범죄자 후보로 분류하는 것이다.

5. 무차별 얼굴 DB 구축

Article 5(1)(e).

인터넷이나 CCTV 영상에서 무차별적으로 얼굴 이미지를 수집하여 얼굴인식 데이터베이스를 만드는 AI.

Clearview AI가 대표 사례다. 소셜미디어에서 수십억 장의 얼굴 사진을 무단 수집하여 데이터베이스를 구축한 미국 기업. EU는 이 행위 자체를 금지했다.[^3]

“무차별적(untargeted scraping)”이 핵심이다. 특정 수사를 위해 특정 대상의 이미지를 수집하는 것이 아니라, 불특정 다수의 얼굴을 대량으로 긁어모으는 것.

6. 직장·학교 감정인식

Article 5(1)(f).

업무 현장 또는 교육기관에서 사람의 감정을 추론하는 AI. 의료·안전 목적 예외.

직원의 표정이나 음성에서 “불만족” “스트레스” “이탈 의향”을 추론하는 AI. 학생의 집중도를 표정으로 감시하는 AI.

왜 직장과 학교만인가. 권력 비대칭이 있는 환경이기 때문이다. 직원은 고용주의 감정인식을 거부하기 어렵다. 학생은 교사의 감시를 피하기 어렵다. 동의가 자유롭지 않은 환경에서의 감정 감시를 금지한 것이다.

의료(환자 상태 모니터링)와 안전(졸음운전 감지 등)은 목적이 다르므로 예외.

7. 민감 특성 기반 생체 분류

Article 5(1)(g).

인종, 정치적 견해, 노조 가입 여부, 종교, 성적 지향 등 민감한 속성으로 사람을 분류하기 위해 생체인식 데이터를 사용하는 AI.

얼굴 사진에서 인종이나 정치 성향을 추론하는 시스템. EU는 이런 기술의 존재 자체를 문제로 본다. 분류 정확도가 높든 낮든, 이런 분류를 시도하는 것 자체가 차별의 기반이 된다.

8. 공공장소 실시간 원격 생체인식 (법 집행 목적)

Article 5(1)(h).

법 집행 목적으로 공개 접근 가능한 공간에서 실시간 원격 생체인식(얼굴인식)을 사용하는 AI.

가장 논쟁이 컸던 조항이다. 원칙적 금지이되, 극히 제한적 예외를 둔다.

허용 예외 세 가지: (i) 실종 아동 수색, (ii) 특정한 실질적 테러 위협, (iii) 중대 범죄 용의자 소재 파악. 모두 사전 사법부 승인이 필요하다.[^4]

EU 시민의 다수가 공공장소 얼굴인식 감시를 우려한다. 이 조항은 그 우려에 대한 법적 응답이다.

한국의 빈칸

8가지 금지 관행을 나열했다. 이제 한국을 보자.

한국 AI 기본법에 금지 AI 조항은 없다.[^5]

EU가 금지하는 8가지 관행에 대한 한국의 대응:

EU 금지 → 한국 대응
───────────────────────────
잠재의식 조작      → 없음
취약성 악용        → 없음
사회적 평점        → 없음 (개인정보보호법 일부)
범죄 리스크 예측    → 없음
무차별 얼굴 수집    → 없음
직장·학교 감정인식  → 없음
민감 특성 생체분류   → 없음
공공장소 실시간 생체인식 → 고영향 AI (허용 + 책무)

마지막 항목이 상징적이다. EU가 원칙적으로 금지하는 공공장소 실시간 얼굴인식을, 한국은 “고영향 AI”로 분류하여 허용하되 책무를 부과한다(법 제2조제4호 바목).

같은 기술에 대한 정반대의 규범적 판단.

[필자 분석]

금지 AI 조항은 단순한 규제 목록이 아니다. 한 사회가 AI에 대해 “여기까지”라고 선을 긋는 행위다.

EU가 이 선을 그을 수 있었던 배경에는 두 가지가 있다. 첫째, GDPR(2018) 이후 축적된 디지털 기본권 논의. 둘째, NLF 체계에 내재된 비례성 원칙 — A-5에서 본 것처럼, 허용 불가능한 리스크는 “저감”이 아니라 “제거”해야 한다는 ISO/IEC Guide 51의 원칙이 금지 카테고리의 논리적 토대가 된다.[^6]

한국은 이 선을 긋지 않았다. AI 기본법의 접근은 “진흥 + 최소 규제”이다. 금지 없이 책무로 대응한다.

이것이 의도적 선택인가, 아니면 논의의 부재인가. EU의 금지 목록을 그대로 가져와야 한다는 뜻은 아니다. 사회적 합의가 다를 수 있다. 그러나 “이 AI는 우리 사회에서 존재해서는 안 된다”는 논의 자체가 없는 것은 다른 문제다.

2026년 7월 한국 AI 기본법이 시행되면, EU에서 불법인 AI 서비스가 한국에서는 합법이 된다. 이 규범적 격차가 한국 기업의 EU 시장 진출에, 그리고 한국 시민의 권리 보호에 어떤 의미를 갖는지 — 진지한 논의가 필요한 시점이다.

마무리 — 선을 긋는 것의 의미

금지는 가장 비용이 큰 규제 수단이다. 산업의 가능성을 원천 차단하기 때문이다.

그래서 금지는 가장 신중해야 한다. 동시에, 금지가 없는 규제는 “어디까지 허용되는가”라는 질문에 답하지 못한다.

EU는 답했다. 8가지를 그었다.

한국은 아직 묻지 않았다.

이전 글: [B-2] ‘고위험 AI’란 무엇인가: 리스크 평가의 논리 다음 글: [B-3] AI가 업데이트되면 인증을 다시 받아야 하나

주석 : [^1]: AI Act Article 5. 2025년 2월 2일 시행 (Article 113(a)). AI Act 전체에서 가장 먼저 시행되는 조항. [^2]: AI Act Recital 31. 사회적 평점 금지는 일반적 신용평가와 구분됨을 명시. [^3]: Clearview AI 사례. 2020년 이후 프랑스(CNIL), 이탈리아(Garante), 영국(ICO) 등에서 GDPR 위반으로 제재. AI Act는 이를 GDPR 차원을 넘어 AI법 차원에서 금지. [^4]: AI Act Article 5(2)-(3). 실시간 생체인식 예외의 요건: 엄격한 필요성·비례성 + 사전 사법부 승인 + 시간·장소·대상 제한. [^5]: 한국 AI 기본법(법률 제21311호) 전체에 금지 조항 없음. 위키 [[한국AI기본법-EU-AI-Act-조문대응]] §3 “금지 AI — 한국 대응 없음” 참조. [^6]: ISO/IEC Guide 51의 3단계 저감 우선순위에서 “본질적으로 안전한 설계(inherently safe design)”가 최우선. 설계로 제거할 수 없고, 방호로도 불충분하며, 정보로도 해결 불가능한 리스크 = 허용 불가능한 리스크 = 금지의 논리적 토대. 위키 [[리스크평가체계]] 참조.

참고