6 분 소요

— EU는 어떻게 AI의 위험을 분류하는가

Series B. EU AI Act: 새 법인가, 기존 법의 확장인가 | B-2 이전 글: [B-1] AI Act는 NLF 위에 AI 챕터를 얹은 것이다 다음 글: [B-3] AI가 업데이트되면 인증을 다시 받아야 하나

A-5에서 본 비례성 원칙이 AI Act에서 어떻게 구현되는지 추적한다. 4단계 피라미드의 논리.

응급실의 문이 열리면 의사가 하는 첫 번째 일은 치료가 아니다.

분류다.

이 환자는 지금 당장 수술실에 가야 하는가. 저 환자는 30분 기다려도 되는가. 그 환자는 집에 가서 쉬면 낫는가. 의학에서 이를 트리아지(Triage)라 부른다. 자원은 한정되어 있고, 환자는 계속 온다. 모든 환자를 같은 강도로 치료하는 것은 불가능하다. 그래서 위험의 크기에 따라 분류한다.


EU AI Act는 AI에 대해 정확히 같은 일을 한다.

모든 AI를 같은 강도로 규제하는 것은 불가능하다. 음악 추천 AI와 범죄 예측 AI를 같은 잣대로 다루는 것은 비합리적이다. 그래서 EU는 위험의 크기에 따라 AI를 분류하고, 분류에 비례하는 규제를 부과한다.

A-5에서 우리가 확인한 비례성 원칙이 여기서 작동한다.

피라미드: 네 개의 층

AI Act의 리스크 분류는 피라미드 형태다.[^1] 꼭대기로 갈수록 위험이 크고, 규제가 강하다.

        ▲
       /  \         [금지] 허용 불가 리스크
      /    \        → 시장 진입 자체 금지
     /------\
    /        \      [고위험] 높은 리스크
   /          \     → 요건 + 적합성 평가 + CE 마킹
  /------------\
 /              \   [제한적 리스크] 투명성 의무
/                \  → 사용자에게 AI임을 고지
------------------
[최소 리스크] 규제 없음
→ 자유로운 개발·사용

꼭대기: 금지. 아예 만들거나 사용할 수 없다. 가장 극단적인 조치.

두 번째 층: 고위험. 만들 수는 있지만, 엄격한 요건을 충족하고 적합성 평가를 통과해야 한다.

세 번째 층: 제한적 리스크. 대부분 자유롭지만, 사용자에게 “이것은 AI입니다”라고 알려야 한다.

바닥: 최소 리스크. 아무 규제 없이 자유롭게. 대부분의 AI가 여기에 해당한다. 스팸 필터, 게임 AI, 재고 관리 AI.

이 피라미드가 비례성 원칙의 AI 버전이다. A-5에서 본 NLF의 원리 — 위험이 클수록 인증이 복잡해지고, NB가 개입하고, 감시가 강해지는 것 — 가 AI에도 그대로 적용된다.

꼭대기: EU가 선을 그은 8가지

피라미드 꼭대기에는 절대 허용하지 않는 AI가 놓인다. Article 5가 규정하는 8가지 금지 관행이다.[^2]

하나. 잠재의식 조작(Subliminal techniques). 사람이 인식하지 못하는 방식으로 행동을 조작하는 AI.

둘. 취약성 악용(Exploiting vulnerabilities). 나이, 장애, 사회·경제적 상황 등 취약점을 이용해 행동을 왜곡하는 AI.

셋. 사회적 평점(Social scoring). 사회적 행동이나 성격 특성에 기반해 점수를 매기고 불이익을 주는 AI.

넷. 개인 범죄 리스크 예측. 프로파일링만으로 특정 개인의 범죄 가능성을 예측하는 AI.

다섯. 무차별 얼굴 DB 구축. 인터넷이나 CCTV에서 무차별적으로 얼굴 이미지를 수집해 데이터베이스를 만드는 AI.

여섯. 직장·학교 감정인식. 업무 현장이나 교육기관에서 감정을 추론하는 AI. 의료·안전 목적은 예외.

일곱. 민감 특성 기반 생체 분류. 인종, 정치 성향, 종교 등 민감 속성으로 사람을 분류하는 AI.

여덟. 공공장소 실시간 원격 생체인식(법집행). 법 집행 목적의 실시간 얼굴인식. 극히 제한적 예외만 허용.[^3]

금지 목록은 “기술의 한계”가 아니라 “가치의 한계”를 선언한 것이다. 이 기술이 불가능해서가 아니라, 이 기술이 인간의 존엄을 침해하기 때문에 금지한다.

2025년 2월 2일부터 이미 시행 중이다.

두 번째 층: 고위험 AI로 가는 두 갈래 길

피라미드에서 가장 복잡한 층이 고위험(High-Risk)이다. 금지까지는 아니지만, 엄격한 규제를 받는 AI. 여기에 도달하는 길이 두 갈래다.[^4]

첫째 갈래: 안전 부품 경로 (Annex I).

이미 EU 제품안전법이 적용되는 제품의 안전 구성요소로 사용되는 AI. 예를 들어, 의료기기에 내장된 진단 AI, 자동차의 자율주행 AI, 기계류의 안전 제어 AI.

이 경우 AI Act만이 아니라, 해당 제품법(MDR, 기계류 규정 등)도 함께 적용된다. A 시리즈에서 본 NLF 체계가 직접 작동하는 영역.

둘째 갈래: 독립 시스템 경로 (Annex III).

제품의 부품이 아니라, 독립적으로 운영되는 AI 시스템 중 8개 카테고리에 해당하는 것.

카테고리 예시
1. 생체인식 원격 생체인식 식별 (금지 제외 영역)
2. 핵심 인프라 도로교통 안전, 수도·가스·난방·전기
3. 교육·직업훈련 입학 심사, 시험 평가, 부정행위 탐지
4. 고용·인사관리 채용, 해고, 근무 배정, 성과 평가
5. 필수 서비스 접근 대출 심사, 보험 가입, 긴급 서비스 배정
6. 법 집행 증거 신뢰성 평가, 재범 예측, 프로파일링
7. 이민·망명·국경 비자 심사, 허위 문서 탐지, 위험 평가
8. 사법·민주주의 판결 지원, 법률 해석, 분쟁 해결

이 두 갈래는 하나의 원리로 연결된다. 사람의 건강, 안전, 또는 기본권에 중대한 영향을 미칠 수 있는 AI.

단, Article 6(3)이 하나의 안전장치를 추가한다. Annex III에 해당하더라도 “의사결정에 중요하지 않은 보조적 역할”에 그치는 경우, 고위험에서 제외될 수 있다.[^5] 비례성 원칙의 마지막 필터다.

고위험 AI가 지켜야 할 8대 요건

고위험으로 분류된 AI는 8가지 기술 요건을 충족해야 한다. Article 8부터 15까지.[^6]

A-5에서 본 리스크 평가가 첫 번째 요건이 되고, A 시리즈의 NLF 원리들이 나머지를 구성한다.

[Article 9]  리스크 관리 시스템 (RMS)
             → A-5의 리스크 공식이 여기서 작동

[Article 10] 데이터 거버넌스
             → 훈련 데이터의 품질·대표성·편향 관리

[Article 11] 기술 문서화
             → Annex IV. 설계부터 훈련 데이터까지 전수 기록

[Article 12] 기록 보관 (자동 로그)
             → AI의 결정 과정을 추적 가능하게

[Article 13] 투명성 · 정보 제공
             → 배치자에게 사용 설명서 제공

[Article 14] 인간 감독
             → 사람이 AI를 중단·무시할 수 있는 능력 확보

[Article 15] 정확성 · 견고성 · 사이버보안
             → AI 성능의 최소 기준

[Article 17] 품질 관리 시스템 (QMS)
             → 위 모든 요건을 관리하는 조직 체계

첫 번째 요건인 Article 9의 리스크 관리 시스템(RMS)이 전체의 뼈대다.

EU 공식 웨비나(2024.5.30)에서 DG CNECT는 이렇게 설명했다.

“RMS는 AI 시스템 전체 라이프사이클에 걸친 지속적 프로세스이며, 4단계 반복 순환 구조를 따른다.”[^7]

  • 1단계: 리스크 식별·분석
  • 2단계: 리스크 추정·평가
  • 3단계: 사후 모니터링 데이터 기반 재평가
  • 4단계: 리스크 관리 조치 채택

A-5에서 확인한 3단계 저감 우선순위도 Article 9(5)에 그대로 이식되어 있다.

설계로 제거 → 보호 조치 → 정보 제공 순서.

[필자 분석]

AI Act의 4단계 피라미드와 한국 AI 기본법을 나란히 놓으면, 구조적 비대칭이 드러난다.

한국은 2단계 체계다. 고영향 AI와 프론티어 AI. 그 사이에 아무것도 없다.

EU가 금지하는 8가지 관행을 한국은 하나도 금지하지 않는다. 사회적 평점, 잠재의식 조작, 무차별 얼굴 수집 — EU에서 불법인 것들이 한국에서는 “고영향 AI”로 분류되어 사업자 책무만 부과된다.[^8]

EU의 고위험 AI 8대 기술 요건(Art.8-15) 중, 한국 법 제34조가 대응하는 것은 약 절반이다. 데이터 거버넌스(Art.10), 자동 로그(Art.12), 정확성·견고성·사이버보안(Art.15)은 한국에 없다.

또 하나. EU는 고위험 AI를 두 갈래(Annex I 안전부품 + Annex III 독립시스템)로 나누어, 기존 제품안전법과의 교차를 명확히 설계했다. 한국은 10개 영역을 단일 목록으로 나열할 뿐, 제품안전기본법이나 의료기기법과의 교차 규정이 없다.

비례성 원칙은 분류의 섬세함에서 나온다.

4단계가 2단계보다 정교하고, 8대 요건이 6대 책무보다 촘촘하다.

한국이 EU 수준의 실효성을 원한다면, 분류 체계 자체를 재설계해야 할 것으로 보인다. [검토 필요]

마무리 — 다음 질문

피라미드를 세우고, 금지선을 긋고, 고위험을 정의하고, 8대 요건을 부과했다.

그런데 여기서 한 가지 질문이 남는다. 토스터는 한 번 인증하면 끝이다. 10년을 써도 회로가 스스로 바뀌지 않으니까. 그런데 AI는 배우고, 업데이트되고, 데이터에 따라 행동이 달라진다.

출시 시점에 적합성 평가를 통과한 AI가, 6개월 후에도 같은 AI인가?

NLF가 40년간 다루지 않았던 문제. 다음 글에서 이 문을 연다.

이전 글: [B-1] AI Act는 NLF 위에 AI 챕터를 얹은 것이다 다음 글: [B-3] AI가 업데이트되면 인증을 다시 받아야 하나

주석 : [^1]: EU AI Act Recital 26 및 DG CNECT 공식 웨비나(2024.05.30). 4단계 리스크 기반 접근(Risk-based Approach). [^2]: EU AI Act Article 5. 8개 금지 AI 관행. 2025년 2월 2일부터 시행. [^3]: Article 5(1)(h). 법 집행 목적 실시간 원격 생체인식은 원칙 금지, 예외적으로 실종아동 수색, 테러 위협 등 극히 제한된 경우만 허용. 사법부 사전 승인 필요. [^4]: AI Act Article 6. 두 갈래: Article 6(1) Annex I 경로(안전부품) + Article 6(2) Annex III 경로(독립시스템). [^5]: AI Act Article 6(3). Annex III 해당 AI라도 “의사결정에 대한 보조적 역할”에 그치는 경우 예외 가능. 프로파일링 수행 AI에는 적용 불가. [^6]: AI Act Article 8-15(기술 요건) + Article 17(QMS). 공식 웨비나에서 DG CNECT는 이를 “사전(pre-market) + 사후(post-market) + 지속적(continuous)” 3단계로 구분. [^7]: DG CNECT 웨비나(2024.05.30), Dr. Tatjana Evas. Article 9 para.2의 4단계 반복 프로세스. 위키 [[eu-webinar-2024-0530-risk-management]] 참조. [^8]: 한국 AI 기본법 제2조제4호 10영역 vs EU AI Act Article 5 금지 + Annex III 고위험. 위키 [[한국AI기본법-EU-AI-Act-조문대응]] §3 “금지 AI — 한국 대응 없음” 참조.

참고