6 분 소요

— A 시리즈 최종편: 왜 모든 것이 ‘위험의 크기’에 비례하는가

Series A. EU 제품안전 기초: NLF를 해부한다 | A-5 이전 글: [A-4-1] Blue Guide는 해설서인가, 설계도인가 다음 글: [B-1] AI Act는 NLF 위에 AI 챕터를 얹은 것이다

A 시리즈 전체를 관통하되 아직 명시적으로 다루지 않았던 원리 — 리스크 평가 — 를 해부한다. NLF의 모든 장치가 ‘위험의 크기’에 비례하는 이유.

병원에 가면 의사가 묻는다.

“어디가 아프세요?”

그다음 한다. 체온을 재고, 혈압을 측정하고, 피를 뽑아 검사한다. 아픈 곳이 어디인지 “느낌”으로만 판단하지 않는다. 숫자로 잰다.

그런데 만약 의사가 모든 환자에게 같은 검사를 한다면 어떻게 될까. 감기 환자에게도 MRI를 찍고, 두통 환자에게도 개복 수술을 한다면. 병원은 마비되고, 비용은 폭발하고, 정작 중환자를 제때 돌보지 못할 것이다.


EU의 제품 규제도 같은 문제에 직면했다.

시장에 나오는 제품은 무한하다. 위험한 정도도 제각각이다. 플라스틱 빗과 산업용 프레스기에 같은 수준의 검증을 요구하면, 체계가 무너진다.

그래서 EU는 저울 하나를 만들었다. 위험의 크기를 재는 저울.

NLF의 모든 장치는 이 저울 위에 서 있다

A 시리즈를 돌아보자.

A-2에서 다룬 인증 모듈. 왜 Module A(자기 선언)부터 Module G(단위 검증)까지 단계가 나뉘는가. 위험이 낮은 제품은 기업이 스스로 증명하면 된다(Module A). 위험이 높은 제품은 NB가 하나하나 검사한다(Module G). 블루 가이드는 이 원칙을 명확히 쓴다. “모듈의 복잡성은 리스크에 비례해야 한다.”¹

A-3에서 다룬 Notified Body. NB가 개입하는 이유도 리스크다. 위험이 낮으면 기업의 자기 선언으로 충분하다. 위험이 높을수록 독립적 제3자의 검증이 필요해진다.

A-4에서 다룬 시장감시. RAPEX 경보의 우선순위도 리스크다. 모든 부적합 제품이 같은 속도로 처리되지 않는다. “심각한 리스크(Serious Risk)”로 분류된 제품이 먼저 경보된다.


모듈 선택, NB 개입, 시장감시 강도 — NLF의 모든 장치가 하나의 변수에 의해 조절된다.

리스크.

그런데 여기서 결정적인 질문이 남는다. 그 “리스크”를 도대체 어떻게 재는가.

“위험”과 “리스크”는 다르다

일상 언어에서는 “위험하다”와 “리스크가 높다”를 같은 뜻으로 쓴다. 규제에서는 다르다. 이 구별이 모든 것의 출발점이다.

칼(knife) 을 생각해 보자.

칼날은 위험원(Hazard)이다. 위해를 일으킬 수 있는 잠재적 원천. 칼날 자체는 아직 아무도 다치게 하지 않았다.

주방에서 칼을 쓰는 중이라면, 이것은 위험 상황(Hazardous Situation)이다. 위험원에 노출된 상태.

손이 칼날에 닿는 순간, 이것은 위험 사건(Hazardous Event)이다.

손가락이 베이면, 이것이 위해(Harm)다. 실제 피해.

ISO/IEC Guide 51은 이 네 단계를 명확히 분리한다.²

위험원(Hazard) → 위험 상황(Hazardous Situation) → 위험 사건(Hazardous Event) → 위해(Harm)

그리고 리스크(Risk) 는 이렇게 정의된다.

리스크 = 위해 발생 확률 × 위해 심각도의 조합³

같은 칼이라도, 전문 요리사가 보호 장갑을 끼고 쓰면 리스크가 낮다. 아이가 맨손으로 장난치면 리스크가 높다. 위험원(칼날)은 같지만, 확률과 심각도의 조합이 다르다.

이것이 왜 중요한가.

규제가 “위험한 것은 금지한다”고 쓰면, 칼 자체를 금지해야 한다.

그러나 “리스크가 허용 불가능한 수준이면 조치한다”고 쓰면, 칼은 허용하되 아이용 안전 칼에는 칼날 커버를 요구할 수 있다.

위험원을 제거하는 것이 아니라, 리스크를 허용 가능한 수준으로 낮추는 것. 이것이 EU 규제의 접근법이다.

리스크 표준의 계보: 누가 이 저울을 만들었는가

리스크를 재는 방법은 하루아침에 만들어지지 않았다. 40년에 걸쳐 쌓인 국제 표준의 계보가 있다.

이 계보는 법의 위계와 닮았다.

  • 최상위: ISO/IEC Guide 51 (1990년 초판, 2014년 3판)

    • “표준에 안전을 넣는 방법”을 가르치는 교과서다.
    • 위험원, 리스크, 허용 가능한 리스크, 3단계 저감 우선순위 — 모든 안전 표준의 공통 언어가 여기서 나왔다. 헌법에 해당한다.⁴

  • 중간층: ISO 31000 (리스크 관리 일반 원칙)

    • 어떤 조직이든, 어떤 분야든 리스크를 관리하는 공통 프로세스를 규정한다.
    • 맥락 설정 → 리스크 식별 → 분석 → 평가 → 처리 → 모니터링. 법률에 해당한다.⁵

  • 도메인층: 분야별 특화 표준

    • 기계 안전은 ISO 12100, 의료기기는 ISO 14971, AI 시스템은 ISO/IEC 23894.
    • 각 분야의 특수성을 반영한 리스크 평가 방법론이다.
    • 시행령에 해당한다.
ISO/IEC Guide 51 (최상위 원칙 — "헌법")
       ↓
ISO 31000 (리스크 관리 일반 — "법률")
       ↓
ISO 12100 (기계) │ ISO 14971 (의료기기) │ ISO/IEC 23894 (AI)
       ↓
EU AI Act Article 9 (법적 의무로 전환)

Guide 51이 정의한 “리스크 = 확률 × 심각도”라는 공식은, 이 계층을 타고 내려가 최종적으로 EU AI Act Article 9에 직접 채용된다. DG CNECT(EU 디지털총국)가 2024년 공식 웨비나에서 이 사실을 확인했다.⁶

40년 전에 만든 저울이, 2024년의 AI 규제에서도 쓰이고 있다.

리스크를 낮추는 순서: 3단계 우선순위

리스크를 잰 다음에는 낮춰야 한다.

Guide 51은 리스크 저감에도 분명한 우선순위를 정한다. 이 우선순위가 NLF 전체를 관통하고, EU AI Act에까지 이어진다.⁷

1순위: 본질적으로 안전한 설계(Inherently Safe Design). 위험원 자체를 제거하거나 줄이는 것. 날카로운 모서리를 둥글게 만드는 것. AI로 치면, 편향을 일으키는 데이터를 훈련 단계에서 걸러내는 것.

2순위: 방호장치와 보호 장치(Guards and Protective Devices). 위험원을 제거할 수 없을 때, 사용자를 위험원으로부터 격리하는 것. 기계의 안전 커버. AI로 치면, 인간 감독(Human Oversight) 메커니즘.

3순위: 사용 정보(Information for Use). 경고 라벨, 매뉴얼, 교육. 이것은 최후의 수단이다.

이 순서가 왜 중요한가.

설계에 내재된 안전은 지속적으로 작동한다. 방호장치는 고장날 수 있다. 경고는 무시될 수 있다. 그래서 “경고했으니 됐다”는 주장은 EU 규제 체계에서 가장 약한 방어선이다.

AI 기업이 “AI입니다”라는 고지만으로 리스크 관리 의무를 이행했다고 주장한다면, 그것은 3순위만 한 것이다. 1순위와 2순위를 건너뛰었다. EU AI Act Article 9는 이 우선순위를 법적 의무로 만들었다.

“안전”이란 무엇인가 — 가장 중요한 정의

Guide 51은 “안전(Safety)”을 이렇게 정의한다.

“허용 불가능한 리스크로부터의 자유.”⁸

이 정의가 함축하는 바가 크다.

“완전한 안전”이라는 것은 없다. 리스크가 0인 제품은 존재하지 않는다. 안전이란 리스크를 “허용 가능한 수준(Tolerable Risk)”까지 낮춘 상태를 말한다.

그리고 그 “허용 가능한 수준”은 고정되어 있지 않다. Guide 51은 명시한다. “허용 가능한 리스크 수준은 기술·지식 발전에 따라 재검토되어야 한다.”⁹

과거에 괜찮았던 것이 지금은 안 될 수 있다.

20년 전에는 자동차에 에어백이 없어도 “안전”했다. 지금은 아니다. 기술이 발전하면서 “허용 가능한 수준”의 기준선 자체가 올라갔기 때문이다.

AI도 마찬가지다. 오늘 허용되는 AI의 오류율이, 더 정확한 AI가 등장하면 허용되지 않을 수 있다. 리스크 평가는 한 번 하고 끝나는 것이 아니라, 기술 발전에 맞춰 계속 업데이트해야 한다.

[필자 분석] 비례성 원칙 — NLF의 숨은 헌법

A 시리즈 전체를 관통하는 하나의 원리를 이름 붙인다면, 비례성 원칙(Principle of Proportionality)이다.

위험이 높으면 검증이 강하고, 위험이 낮으면 검증이 가볍다. 이것이 NLF의 숨은 헌법이다.

비례성 원칙이 없으면 어떻게 되는가. 두 가지 극단이 생긴다. 하나는 과잉 규제다. 모든 제품에 최고 수준의 검증을 요구하면, 기업은 비용에 짓눌리고 혁신이 멈춘다. 다른 하나는 과소 규제다. 모든 제품에 자기 선언만 허용하면, 위험한 제품이 시장에 쏟아진다. PIP 유방 보형물 스캔들(A-3 참조)이 그 결과다.

비례성 원칙은 이 두 극단 사이에서 최적점을 찾는 설계다.


그런데 이 원칙을 작동시키려면, 리스크를 정량적으로 측정할 수 있어야 한다.

“위험하다/안전하다”의 이분법으로는 비례성을 구현할 수 없다. “어느 정도 위험한가”를 잴 수 있어야, 그에 비례하는 규제를 설계할 수 있다.

이것이 Guide 51의 “확률 × 심각도” 공식이 단순한 학술 정의가 아닌 이유다. 이 공식이 없으면 비례성 원칙이 작동하지 않고, 비례성 원칙이 작동하지 않으면 NLF 전체가 무너진다.


한국의 AI 기본법은 “기본권에 미치는 부정적 영향을 식별·분석”한다고 쓴다.

이것은 영향을 기술하는 것이지, 확률과 심각도를 계산하는 것이 아니다.¹⁰

의사가 “아파 보인다”고 쓰는 것과 “혈압 180/110, 즉시 투약 필요”라고 쓰는 것의 차이다. 전자는 판단이고, 후자는 측정이다. 측정이 있어야 비례적 대응이 가능하다.

마무리: A 시리즈의 끝, 그리고 남은 질문

A 시리즈 전체를 돌아보자.

법이 목표만 쓰고(A-1), 세 질문에 세 답을 했고(A-1-1), 기업이 증명 방법을 고르고(A-2), 제3자가 검증하고(A-3), 검증자가 어떻게 탄생하는지 보았고(A-3-1), 시장에서 지속 감시받고(A-4), 이 모든 것을 설명하는 지도가 있고(A-4-1), 그 모든 장치를 리스크라는 저울이 조절한다(A-5).

이것이 NLF다.

그런데 이 체계는 “출시 전에 완성된 제품”을 전제로 설계되었다. 설계가 고정되고, 생산이 일정하고, 제품이 변하지 않는 세계.

AI는 그 전제를 깬다.

AI는 출시 후에도 학습하고, 업데이트되고, 동작이 바뀐다. “출시 시점에 안전했다”가 “6개월 뒤에도 안전하다”를 보장하지 못한다. NLF의 저울로 AI의 리스크를 잴 수 있는가. 잴 수 있다면 어떤 눈금이 더 필요한가.

EU AI Act는 NLF의 저울 위에 새 눈금을 새긴 것이다.

그 이야기는 B 시리즈에서 시작한다.

→ 다음 글: [B-1] AI Act는 NLF 위에 AI 챕터를 얹은 것이다 ← 이전 글: [A-4-1] Blue Guide는 해설서인가, 설계도인가

주석 : [^1]: Blue Guide 2022, Section 5.1.9. “The complexity of the modules selected should be proportional to the risk (impact on public interest, health, safety, environment) of the product.” [^2]: ISO/IEC Guide 51:2014, Clause 3. 위험원(Hazard), 위험 상황(Hazardous Situation), 위험 사건(Hazardous Event), 위해(Harm)의 정의 체계. [^3]: ISO/IEC Guide 51:2014, Clause 3.9 및 Clause 5. “Risk: combination of the probability of occurrence of harm and the severity of that harm.” [^4]: ISO/IEC Guide 51:2014, 3rd edition. ISO COPOLCO + IEC ACOS 합동 발행. 모든 안전 관련 표준의 최상위 원칙 문서. [^5]: ISO 31000:2018, Risk management — Guidelines. 리스크 관리의 8가지 원칙·체계·프로세스 규정. [^6]: DG CNECT & JRC, “Risk management logic of the AI Act and related standards,” 웨비나 (2024.05.30). EU AI Act Article 9의 리스크 정의가 ISO/IEC Guide 51의 “확률×심각도” 공식을 채용했음을 공식 확인. [^7]: ISO/IEC Guide 51:2014, Clause 6.3.5, Figure 3. 3단계 리스크 저감 우선순위: (1) 본질적 안전 설계 → (2) 방호장치 → (3) 사용 정보. EU AI Act Article 9도 동일한 우선순위 구조를 채택. [^8]: ISO/IEC Guide 51:2014, Clause 3.14. “Safety: freedom from risk which is not tolerable.” [^9]: ISO/IEC Guide 51:2014, Clause 6.2.2. 허용 가능한 리스크 수준은 기술·지식 발전에 따라 재검토 필요. [^10]: 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률 제21311호), 제36조(인공지능 영향평가). “기본권에 미치게 되는 부정적 영향을 체계적으로 식별·분석.” EU AI Act Article 9의 “확률×심각도 기반 리스크 추정·평가”와 구조적으로 다름. 프로젝트 내부 분석 [[ai-risk-assessment-통합분석]] 참조.

참고