5 분 소요

— NLF 체계가 가장 긴장하는 지점

Series B. EU AI Act: 새 법인가, 기존 법의 확장인가 | B-3 이전 글: [B-2] ‘고위험 AI’란 무엇인가: 리스크 평가의 논리 다음 글: [B-4] AI Office는 왜 별도로 만들었나

AI는 출시 후에도 변한다. 40년간 “물리적 제품”을 전제로 설계된 NLF 체계는 이 변화를 어떻게 감당하는가.

당신의 스마트폰을 생각해보자.

작년에 산 폰이다. 그런데 오늘 아침에 운영체제가 업데이트되었다. 카메라 앱이 바뀌었고, 보안 패치가 적용되었고, AI 비서의 성능이 달라졌다. 한 달 전에도 업데이트가 있었고, 그 전 달에도 있었다.

질문 하나.

오늘 당신이 쓰는 폰은, 작년에 인증받은 그 폰인가?

물리적으로는 같은 하드웨어다. 하지만 소프트웨어는 수십 번 바뀌었다. AI 기능은 더 많이 바뀌었다. 만약 이 폰이 의료기기였다면? 자율주행차의 두뇌였다면? 채용 면접을 평가하는 AI였다면?

인증받은 제품이 인증받지 않은 제품으로 변해가는 과정. 이것이 EU AI Act가 마주한 가장 까다로운 문제다.

토스터는 변하지 않는다

NLF 체계는 40년간 한 가지를 전제로 설계되었다.

제품은 출시 후 변하지 않는다.

A-2에서 본 적합성 평가 모듈, A-3에서 본 Notified Body 심사, A-5에서 본 리스크 평가 — 이 모든 절차는 출시 시점의 스냅샷을 기준으로 작동한다. 토스터가 공장에서 나오는 순간, 설계대로 만들어졌는지 확인한다. 확인이 끝나면 CE 마크를 붙이고, 시장에 내보낸다.

토스터의 발열 코일은 스스로 재설계되지 않는다. 계량기의 측정 알고리즘은 밤사이에 업데이트되지 않는다. 물리적 제품은 시간이 지나도 같은 제품이다.

이 전제 위에 세워진 체계가 NLF다.

AI가 이 전제를 깨뜨린다.

AI는 세 가지 방식으로 변한다

AI 시스템이 출시 후 변화하는 경로는 크게 세 가지다.

첫째, 의도적 업데이트.

개발자가 모델을 개선하거나 버그를 수정한다. 새로운 훈련 데이터로 재훈련한다. OTA(Over-The-Air)로 배포된다. 스마트폰 업데이트와 같은 방식.

둘째, 지속적 학습.

일부 AI는 운영 중에도 새로운 데이터로부터 계속 배운다. 사용자 행동 패턴에 적응하고, 피드백으로부터 모델을 조정한다. 개발자가 의도적으로 업데이트하지 않아도, AI가 스스로 변한다.

셋째, 환경 변화에 의한 성능 변동(Data Drift).

모델 자체는 변하지 않지만, 입력 데이터의 성격이 바뀌면 출력이 달라진다. 코로나19 팬데믹 기간에 대출 심사 AI가 오작동한 사례가 대표적이다. 훈련 데이터에 없던 패턴이 현실에서 등장하면, 같은 모델이 다른 결과를 낸다.


세 가지 모두 같은 결과로 이어진다. 출시 시점에 적합성 평가를 통과한 AI가, 시간이 지나면 적합성을 잃을 수 있다.

실질적 변경 — AI Act의 해법

EU AI Act는 이 문제에 대해 실질적 변경(Substantial Modification)이라는 개념을 도입했다.[^1]

Article 3(23)의 정의:

“시장 출시 또는 서비스 투입 후 AI 시스템에 가해진 변경으로서, 초기 적합성 평가에서 반영되지 않았거나 초기 적합성 평가 결과에 영향을 미칠 수 있는 것.”

핵심은 두 가지 조건이다.

하나. 초기 적합성 평가에서 반영되지 않은 변경. 둘. 초기 적합성 평가 결과에 영향을 미칠 수 있는 변경.

둘 중 하나만 해당하면 실질적 변경이다.

실질적 변경이 발생하면, 새로운 적합성 평가를 받아야 한다. 처음부터 다시. CE 마킹도 다시. 기술문서도 갱신.

비유하자면 이렇다. 건물을 준공 검사 받았는데, 이후 내력벽을 철거하고 구조를 바꾸면 다시 검사를 받아야 하는 것과 같다. 벽지만 바꾸는 것은 실질적 변경이 아니다. 내력벽을 건드리면 실질적 변경이다.

문제는 AI에서 “내력벽”과 “벽지”의 구분이 명확하지 않다는 것이다.

변경의 주체가 바뀌면 무슨 일이 생기나

여기서 흥미로운 규정이 하나 더 있다. Article 25.[^2]

AI 시스템의 이름이나 상표를 바꿔서 자기 것으로 시장에 내놓거나, 이미 시장에 있는 고위험 AI에 실질적 변경을 가하는 자는 — 설령 원래 공급자가 아니더라도 — 새로운 공급자(Provider)로 간주된다.

즉, 배치자(Deployer)가 AI를 크게 수정하면, 더 이상 배치자가 아니라 공급자가 된다. 공급자의 모든 의무 — 적합성 평가, CE 마킹, 기술문서, 사후 모니터링 — 를 떠안는다.

B-1에서 새로 등장한 “배치자”와 기존 “공급자” 사이의 경계가 AI 수정 행위에 의해 넘어질 수 있다는 뜻이다.

변하지 않아도 감시한다 — PMS

실질적 변경이 발생하지 않더라도, AI Act는 공급자에게 지속적 감시 의무를 부과한다.

Article 72, 사후 모니터링 시스템(Post-Market Monitoring System, PMS).[^3]

공급자는 고위험 AI 시스템을 시장에 출시한 후에도:

하나. 모니터링 계획을 수립하고 실행해야 한다. 둘. 시스템 성능과 준수 상태를 능동적으로 수집·분석해야 한다. 셋. 필요 시 시정조치를 취해야 한다.

이 모델은 의료기기 규정(MDR)의 PMS에서 가져온 것이다.[^4] 의료기기는 시장 출시 후에도 임상 데이터를 계속 수집하고 안전성을 모니터링한다. AI Act는 같은 논리를 AI에 적용한다.

그리고 중대 사고가 발생하면 Article 73이 작동한다.

공급자가 고위험 AI 시스템의 중대 사고(serious incident)를 인지한 경우, 해당 회원국 시장감시기관에 즉시, 늦어도 15일 이내 보고해야 한다.[^5]

A-4에서 본 Safety Gate(RAPEX) 체계가 AI에도 그대로 연결된다.

NLF 체계는 이 긴장을 감당할 수 있는가

여기서 솔직한 질문을 해야 한다.

NLF는 “출시 시점 스냅샷” 방식으로 40년을 작동했다. AI Act는 “실질적 변경 → 재평가” + “PMS로 지속 감시”라는 장치를 추가했다.

그런데 이것으로 충분한가.

실무에서 발생할 수 있는 시나리오를 생각해보자.

  • 시나리오 1: 고위험 채용 AI가 매주 새로운 이력서 데이터로 미세 조정(fine-tuning)된다. 매주 적합성 평가를 다시 받아야 하는가? 어디까지가 “실질적”이고 어디까지가 “미세”인가?

  • 시나리오 2: 지속학습 AI가 운영 중 성능이 점진적으로 변한다. 어느 시점에서 “실질적 변경”이 발생했다고 판단하는가? 성능 저하가 1%일 때? 5%일 때? 10%일 때?

  • 시나리오 3: 범용 AI 모델(GPAI)이 업데이트되면, 그 위에서 작동하는 수천 개의 하류 AI 시스템 모두가 영향을 받는다. 모두 재평가를 해야 하는가?

AI Act는 이 질문들에 대해 아직 완전한 답을 내놓지 않았다. “실질적 변경”의 구체적 기준은 향후 조화표준과 가이드라인으로 채워질 영역이다.

[필자 분석]

실질적 변경(Substantial Modification) 문제는 NLF 체계가 AI 시대에 가장 긴장하는 지점이다.

NLF의 핵심 강점은 “한 번 설계하면 오래 가는 법”이었다(A-1). 기술 중립성 덕분에 법을 자주 개정할 필요가 없었다. 그런데 AI는 법이 아니라 제품 자체가 계속 변한다. 법의 내구성이 아니라, 인증의 내구성이 시험대에 오른 것이다.

EU가 선택한 해법 — 실질적 변경 시 재평가 + PMS — 은 논리적이지만, 아직 실전 검증이 되지 않았다. 첫 번째 조화표준(prEN 18286)조차 아직 심의 중이고, “실질적 변경”의 구체적 판단 기준은 사실상 미정이다.

한국 AI 기본법은 이 문제에 대해 더 취약하다. 한국법에는 실질적 변경이라는 개념 자체가 없다. 사후 모니터링(PMS) 의무도 없고, 중대 사고 보고 의무도 없다. AI가 출시 후 어떻게 변하든, 법적으로 추적하거나 재평가할 장치가 없다.[^6]

AI 규제의 진짜 어려움은 최초 인증이 아니라 지속적 준수에 있다. 이 점에서 EU는 불완전하나마 체계를 갖추기 시작했고, 한국은 아직 출발선에 서지 못했다.

마무리 — 다음 질문

제품이 변한다. 인증이 흔들린다. 그렇다면 누가 이 변화를 감시하는가?

A-4에서 우리는 시장감시기관(MSA)의 역할을 봤다. 27개 회원국에 흩어진 MSA가 각자의 시장을 감시하는 체계. 물리적 제품에는 이 체계가 잘 작동했다. 독일 시장에서 파는 독일 공장의 제품을 독일 MSA가 감시하면 됐다.

그런데 AI는 다르다. 하나의 AI 모델이 27개 국가에서 동시에 작동한다. 서버 한 대에서 업데이트하면 전 유럽이 영향을 받는다. 27개 MSA가 따로따로 감시하는 것이 가능한가?

EU는 이 문제에 대해 전례 없는 답을 내놓았다. AI Office. 다음 글에서 그 이야기를 한다.

이전 글: [B-2] ‘고위험 AI’란 무엇인가: 리스크 평가의 논리 다음 글: [B-4] AI Office는 왜 별도로 만들었나

주석 : [^1]: AI Act Article 3(23). Substantial Modification 정의. [^2]: AI Act Article 25. 실질적 변경을 가한 자 또는 상표를 변경하여 자기 명의로 출시한 자는 Provider로 간주. [^3]: AI Act Article 72. 고위험 AI 공급자의 사후 모니터링 시스템(PMS) 수립·실행 의무. [^4]: Regulation (EU) 2017/745 (MDR) Article 83-85. 의료기기 Post-Market Surveillance. AI Act PMS의 직접적 모델. [^5]: AI Act Article 73. 중대 사고 보고 의무. “인지 후 즉시, 15일 이내” 해당 회원국 MSA에 보고. [^6]: 한국 AI 기본법에는 실질적 변경·PMS·중대사고 보고 개념이 부재. 위키 [[한국AI기본법-EU-AI-Act-조문대응]] §7 참조. 제40조 사실조사권만 존재.

참고