3 분 소요

— 진단서 한 장과 주치의는 다른 약속이다

*Series B. EU AI Act: 새 법인가, 기존 법의 확장인가 B-3-1 (B-3 보충편)*

이전 글: B-3 AI가 업데이트되면 인증을 다시 받아야 하나

다음 글: B-4 AI Office는 왜 별도로 만들었나

함께 읽기: A-5 위험을 재는 저울

B-3에서 AI가 출시 후에도 계속 변한다는 것을 봤다. 이 보충편은 그 변화가 조문 제목에 어떤 단어를 새겨넣었는지를 추적한다 — “평가(Assessment)”와 “관리 시스템(Management System)”은 왜 다른 단어인가.

건강검진을 받아본 적이 있을 것이다.

하루를 비우고, 피를 뽑고, 사진을 찍는다. 며칠 뒤 결과지가 온다. “정상” 또는 “이상 소견”. 그 종이 한 장이 당신 몸 상태에 대한 판정이다.

그런데 만성질환이 있다면 얘기가 다르다. 당뇨나 고혈압 환자에게는 검진 한 장으로 끝나지 않는다. 주치의가 있다. 매달 수치를 재고, 약을 조정하고, 이상 징후가 보이면 즉시 개입한다. 검진이 한 번의 판정이라면, 주치의는 계속되는 관계다.

같은 “건강 확인”이라도, 몸이 변하지 않는 사람과 계속 변하는 사람에게는 다른 방식이 필요하다.

EU가 제품을 규제할 때도 똑같은 갈림길을 만났다.

“평가”는 “관리”의 부분이다

일상어에서는 “평가”와 “관리”를 섞어 쓴다. 국제표준은 이 둘을 명확히 나눈다.

리스크 관리 국제표준 ISO 31000은 전체 과정을 이렇게 그린다.[^1] 맥락을 설정하고, 리스크 평가(식별→분석→판정)를 거쳐, 리스크를 처리하고, 그 다음에도 계속 모니터링하고 기록한다. 즉 “평가”는 전체 그림의 한 조각이고, “관리”는 그 조각을 포함한 전체 사이클이다.

의료기기 표준 ISO 14971은 이 구분을 아예 조문 번호로 못박는다.[^2] 4절은 “리스크 관리 시스템”(계획을 세우고 기록하는 전체 틀), 5·6절은 “리스크 분석과 평가”(그 안의 한 단계), 10절은 “사후생산 활동”(시판 후에도 계속되는 감시). 검진은 5·6절 안에 있고, 주치의는 4절과 10절이 만드는 전체 틀 안에 있다.

말장난이 아니다. 법이 “평가를 실시하라”고 쓰면 행위 하나로 끝나지만, “시스템을 구축·유지하라”고 쓰면 그 의무는 끝나지 않는다.

EU가 조문 제목에 새긴 선택

EU AI Act Article 9의 제목은 “Risk Management System”(리스크 관리 시스템)이다.[^3] “Risk Assessment”(리스크 평가)가 아니다.

이 선택은 우연이 아니다. Art.9 안에서 식별·분석하고 추정·평가하는 활동(para.2(a)(b))은 여러 의무 중 하나일 뿐이다. 나머지는 시스템 자체를 문서화하고 유지할 의무(para.1), 설계→보호조치→정보제공 순서의 통제 계층(para.5), 사전 정의된 테스트 의무(para.6-8), 그리고 Art.72 사후 모니터링과의 연결 — B-3에서 이미 다룬 그 지속적 감시다. 한 번 재고 끝나는 게 아니라, AI의 생애주기 전체를 관통한다.

왜 이렇게 설계했는가. B-3에서 확인했듯 AI는 출시 후에도 계속 변한다. 인증받은 시점의 AI와 지금 작동 중인 AI가 다를 수 있다. 검진 한 장으로는 이 변화를 따라잡을 수 없다. 그래서 EU는 AI에게 주치의를 붙였다.

같은 EU 안에서도 다른 모델을 쓴다

흥미로운 점은, EU가 모든 제품에 이 “주치의 모델”을 쓰지 않는다는 것이다. EU 규제 세 갈래를 나란히 놓아보자.

  1. NLF 전통 모델(기계류 등) — Blue Guide가 요구하는 리스크 평가는 설계·출시 전 단계에 집중됨. 저감하고 재평가하기를 반복하지만, 그 반복은 시장에 나오기 전에 종결. 출시 후 감시는 별도 법([[regulation-2019-1020]])이 담당.

  2. GPSR/Safety Gate 모델 — 위임규정 2024/3173이 규정하는 것은 심각도×확률 매트릭스로 제품을 등급 매기는 “평가 방법론”이다.[^4] 회원국 당국이 위험제품을 걸러내는 분류 도구이지, 기업에게 지속적 체계 구축을 요구하는 게 아님.

  3. AI Act 모델 — 위에서 본 대로, “시스템”을 조문 제목에 새기고 생애주기 전체를 커버함.

물리적 제품 두 갈래는 모두 “평가”에 머무른다. “출시 시점의 상태가 곧 운영 중의 상태”라는 전제가 성립하기 때문이다. 토스터는 팔린 뒤에도 토스터다. AI는 아니다.

[필자 분석]

이 용어 차이는 실무자에게 사소한 문제가 아니다.

“평가”를 요구받은 기업은 보고서 한 장을 준비하면 된다. 정해진 시점에, 정해진 형식으로, 정해진 기준을 통과하면 의무를 다한 것이다. “관리 시스템”을 요구받은 기업은 전혀 다른 일을 해야 한다. 조직 안에 상시적으로 작동하는 절차를 만들고, 계속 기록하고, 이상 징후에 반응할 인력과 프로세스를 갖춰야 한다. 전자는 프로젝트고, 후자는 조직 기능이다.

한국 AI 기본법은 이 구분에서 아직 앞의 갈래에 가깝다. 사전 영향평가는 권고 수준이고,[^5] AI Act 같은 “생애주기 관통형 시스템” 의무는 법문에 없다. 기업이 “평가서 한 장이면 충분하다”고 오해하기 쉬운 지점이다. EU 시장에 나가는 순간, 그 오해는 Art.9가 요구하는 “살아있는 체계”의 부재로 드러난다.

용어 하나가 이렇게 다른 조직 설계를 요구한다. 규제를 읽을 때 “무엇을 평가하라는가”뿐 아니라 “평가로 끝나는가, 시스템을 요구하는가”를 함께 물어야 하는 이유다.

마무리 — 살아있는 시스템은 누가 감시하는가

주치의 모델은 매력적이지만 질문 하나를 남긴다. 주치의가 계속 환자를 본다는 것을, 누가 확인하는가.

AI Act가 기업에게 “관리 시스템을 구축하라”고 요구했다면, 그 시스템이 실제로 살아있는지 확인하는 감독자가 있어야 한다. B-4에서 그 답을 본다.

한줄 코멘트. “평가하라”와 “시스템을 관리하라”는 같은 문장처럼 보이지만 전혀 다른 약속이다. EU는 물리적 제품에는 전자를, AI에는 후자를 요구하기로 했다 — 그 선택 하나가 기업이 준비해야 할 조직의 크기를 바꾼다.

이전 글: B-3 AI가 업데이트되면 인증을 다시 받아야 하나

다음 글: B-4 AI Office는 왜 별도로 만들었나

주석 : [^1]: ISO 31000:2018, Section 6 (Process). 범위·맥락·기준 설정 → 리스크 평가(식별·분석·평가) → 리스크 처리 → 모니터링·검토·기록·보고의 순환 구조. 위키 [[iso-31000-리스크관리]] 참조. [^2]: ISO 14971:2019, Section 4(리스크 관리 시스템)·Section 5-6(리스크 분석·평가)·Section 10(사후생산 활동). 위키 [[iso-14971-의료기기리스크]] 참조. [^3]: AI Act Article 9, “Risk management system”. para.1 시스템 구축·문서화·유지 의무, para.2 4단계 프로세스, para.5 통제 계층, para.6-8 테스트 의무. 위키 [[regulation-2024-1689-ai-act]]·[[AI-리스크관리]] 참조. [^4]: Commission Delegated Regulation (EU) 2024/3173, GPSR Art.26(10) 위임. Safety Gate Rapid Alert System의 리스크 평가 방법론(심각도 4단계×발생확률 8단계 매트릭스). 위키 [[delegated-regulation-2024-3173]] 참조. [^5]: 한국 AI 기본법상 영향평가는 법적 의무가 아닌 권고(“노력해야 한다”) 수준. 위키 [[eu-ai-act-리스크평가관계]] §5 비교표 참조.

참고