5 분 소요

— 보이지 않는 피해, 불투명한 원인

Series C. 한국 vs EU: 어느 쪽이 더 똑똑한 규제인가 | C-3-1 (C-3 보충편) 이전 글: [C-3] 제조사 책임과 국가 책임: 누가 더 많이 지는가 다음 글: [C-4] 한국 AI 기업이 유럽에 가려면 무엇부터 해야 하나

C-3에서 제재 구조를 봤다. C-3-1에서는 피해자의 시선으로 본다. AI가 잘못했을 때, 내가 무엇을 할 수 있는가.

2023년, 한 기업이 AI 채용 시스템을 도입했다.

지원자 수천 명의 이력서를 AI가 1차 분류한다. 70%는 자동 탈락. 30%만 인사담당자가 검토한다.

A씨는 세 번 지원했고, 세 번 모두 1차에서 떨어졌다. 스펙이 나쁘지 않았다. 주변에서는 의아하게 봤다.

나중에 알려진 것: 그 AI는 특정 대학 출신이나 특정 어휘 패턴에 과도한 가중치를 부여하고 있었다. 일종의 구조적 편향.

A씨가 할 수 있는 것은 무엇인가?

피해자의 질문 세 가지

이런 상황에서 피해자는 세 가지를 묻는다.

하나. “나는 왜 탈락했는가?” — 설명 요구권 둘. “AI가 나를 차별했다는 것을 어떻게 증명하는가?” — 입증 책임 셋. “누구를 상대로, 무엇을 청구할 수 있는가?” — 구제 수단

EU와 한국의 답이 다르다.

EU: 설명 요구권 + 인과관계 추정

설명 요구권 (Article 86)

EU AI Act Article 86는 고위험 AI 시스템의 결정에 영향을 받은 자연인에게 명확한 설명을 요구할 권리를 부여한다.[^1]

“자신에게 상당한 영향을 미치거나 미칠 수 있는 결정에 고위험 AI 시스템이 관여된 경우, 해당 자연인은 그 역할에 대한 명확하고 의미 있는 설명을 요청할 권리를 가진다.”

핵심은 “의미 있는 설명(meaningful explanation)”이다. 기업이 “AI가 판단했습니다”라고 한 마디만 하면 안 된다. 어떤 요소가 어떻게 결정에 영향을 미쳤는지를 설명해야 한다.

또한 A씨 같은 경우, 인간 검토를 요청할 권리도 있다. AI 결정을 무조건 따르지 않고, 사람이 다시 심사하도록 요구할 수 있다.

인과관계 추정 — EU가 설계했으나 철회된 장치

설명을 받았다고 해도, 소송을 제기하려면 인과관계를 증명해야 한다. “AI의 편향 때문에 내가 탈락했다”는 것을 어떻게 입증하는가.

EU는 2022년 AI Liability Directive 제안을 통해 이 문제를 해결하려 했다.[^2]

설계된 장치는 이렇다. 기업이 AI Act 의무를 위반한 것이 확인되면 (예: 데이터 거버넌스 Art.10 미이행, 기술문서 불충분 등), 법원은 그 위반과 피해 사이의 인과관계를 추정할 수 있다.

즉, A씨가 “이 기업은 AI Act 의무를 위반했다 → 따라서 AI 편향이 있었을 것으로 추정된다 → 따라서 내 탈락에 영향을 미쳤을 것으로 추정된다”는 구조를 취할 수 있다. 기업이 반증하지 못하면 책임을 진다.

이것이 입증 책임 전환이다. 피해자가 AI 내부를 들여다볼 필요 없이, 기업이 법적 의무를 제대로 이행했음을 증명해야 한다.

그러나 이 지침은 2025년 2월 EU 집행위원회에 의해 철회됐다. “합의 불가”가 이유였다. EU도 서비스형 AI에 대한 과실 기반 입증책임 전환을 현행법으로 확보하지 못한 상태다. 대신 EU는 같은 시기 Product Liability Directive 2024/2853을 채택해, AI 소프트웨어를 “제품”으로 보는 무과실 책임 체계를 도입했다. 단, 이는 서비스형 AI보다 제품 형태의 AI에 더 강하게 적용된다.[^2b]

한국: 설명의 권리, 그러나 구조가 다르다

한국 AI 기본법의 설명 관련 조항

법 제31조 제1항: 고영향·생성형 AI 이용 시 AI 기반 운용 사실을 사전 고지해야 한다. “AI가 결정에 관여하고 있다”는 사실을 알릴 의무다. 그러나 이것은 결정의 이유를 설명하는 것이 아니다.

결정 이유에 대한 별도 설명 요구권 조항은 AI 기본법에 없다.

개인정보보호법 제37조의2(자동화된 결정에 대한 거부권, 설명요구권)가 보조적으로 적용된다.[^3] 개인정보를 처리한 자동화된 결정에 대해 설명을 요구하고 이의를 제기할 수 있다.

그러나 이것은 개인정보가 처리된 경우에만 해당한다. 개인정보를 쓰지 않는 AI 결정(예: 문서만으로 판단하는 AI)에는 적용되지 않는다.

인과관계 입증

한국에는 EU AI Liability Directive에 해당하는 법령이 없다. AI 피해 소송에서 피해자가 인과관계를 직접 입증해야 한다.

AI의 알고리즘과 학습 과정은 기업의 영업비밀이다. 피해자는 법원을 통해 증거 개시를 청구할 수 있지만, 기업이 “영업비밀”을 이유로 공개를 거부하면 소송이 막힌다.

결과적으로 피해자는 보이지 않는 원인으로 받은 피해를 입증하는 불가능에 가까운 과제를 안게 된다.

비교: 피해자의 실제 경로

                        한국 A씨                EU A씨
──────────────────────────────────────────────────────────
1단계: 이유 알기    AI 고지 의무 (사실만)     Art.86 의미 있는 설명 요구
                   개정보법 설명 요구          인간 검토 요청 가능
                   (개인정보 처리 시만)

2단계: 위반 확인    직접 조사 어려움           AI Act 위반 여부 MSA 조사 가능
                                             피해자도 민원 제기 가능

3단계: 소송         인과관계 자증 필요         위반 확인 시 인과관계 추정
                   영업비밀로 증거 막힘        기업이 반증해야
                   일반 불법행위법 적용        ※AI Liability Directive는 철회됨
                                             → 서비스형 AI 과실책임 공백

4단계: 배상         손해액 증명               PLD 2024/2853: 제품형 AI 무과실 ★
                   민법 750조 일반원칙         서비스형 AI: EU도 미확보
──────────────────────────────────────────────────────────

EU A씨가 권리를 행사하기 훨씬 쉽다.

[필자 분석] 피해자 관점의 규제

규제를 평가하는 두 가지 시선이 있다.

하나는 기업의 시선이다. 규제 준수 비용은 얼마인가, 혁신을 막지 않는가, 경쟁력에 영향을 주는가.

다른 하나는 피해자의 시선이다. 피해를 입었을 때 구제받을 수 있는가, 권리가 실질적으로 보장되는가.

한국 AI 기본법 논의에서 전자(기업 부담)는 많이 논의되었고, 후자(피해자 구제)는 상대적으로 적게 논의되었다.

EU AI Liability Directive가 설계한 인과관계 추정 규정의 출발점은 명확했다. “피해자가 AI 내부를 이해하지 못해도 구제받을 수 있어야 한다”는 원칙이다. AI의 불투명성은 개발사의 구조적 이점이다. 그 이점이 책임 회피로 이어지지 않도록 입증 책임을 재분배하는 것이 정의에 부합한다는 논리다.

이 원칙 자체는 지금도 유효하다. 그러나 이를 실현하려 했던 EU AI Liability Directive는 2025년 2월 철회됐다. 산업계의 강한 반발과 “합의 불가” 판단이 원인이었다. 원칙이 틀린 것이 아니라, 이해관계 때문에 입법이 막힌 것이다.

현재 위치를 정리하면: EU는 제품형 AI에 대한 무과실 책임(PLD 2024)과 고위험 AI 설명요구권(Art.86)을 확보했다. 그러나 서비스형 AI의 과실 기반 입증책임 전환은 EU도 아직 달성하지 못했다. 한국은 그 어느 것도 갖추지 못했다.

단기적으로 고영향 AI 사업자 책무에 설명 요구권을 명시적으로 포함시키고, 중기적으로 인과관계 추정 조항을 도입하는 것이 실질적 보완이 될 것이다. 이것은 기업 부담이 아니라 AI에 대한 사회적 신뢰를 만드는 투자다.

이전 글: [C-3] 제조사 책임과 국가 책임: 누가 더 많이 지는가 다음 글: [C-4] 한국 AI 기업이 유럽에 가려면 무엇부터 해야 하나

주석 : [^1]: EU AI Act Article 86. 자연인의 설명 및 인간 검토 요청 권리. 고위험 AI 시스템이 관여한 결정에 적용. 단, Annex III 중 Point 2(이민·망명) 예외 존재. [^2]: EU AI Liability Directive 제안 (COM(2022) 496). AI Act 의무 위반 시 인과관계 추정 메커니즘을 포함. 현황(2026.05 기준): 2025년 2월 EU 집행위원회가 2025 Work Programme에서 공식 철회 선언. 2025년 8월 철회 최종 확정. 이유: 이해관계자 간 합의 불가, 산업계의 경쟁력 훼손 우려. 집행위는 향후 다른 접근법을 통해 재제안할 가능성을 남겨뒀으나 일정 미정. 결과적으로 EU에도 서비스형 AI에 대한 과실 기반 입증책임 전환 법령은 현재 없음. [^2b]: EU Product Liability Directive (Directive EU 2024/2853). 2024년 12월 8일 발효. 회원국 이행 기한 2026년 12월 9일. AI 소프트웨어를 “제품”으로 분류해 결함 있는 AI 소프트웨어에 무과실(strict) 책임 적용. 단, 이는 “제품 결함”에 의한 피해에 한정되며, AILD가 목표했던 서비스 형태 AI의 과실 기반 책임 전환과는 다른 메커니즘. [^3]: 개인정보보호법 제37조의2 (2023년 개정). 자동화된 결정에 대한 거부·설명·검토 요구권. 개인정보를 처리한 완전히 자동화된 결정에 한정 적용. 개인정보를 처리하지 않는 AI 결정(예: 문서 텍스트만으로 판단)에는 불적용.

참고