"인간은 AI를 어떻게 통제할 것인가"라는 현실적이고 시급한 질문에 답하기 위해 이 책은 AI의 설계·배포·운영 전 과정에 실질적인 통제 수단을 내재화하고, AI가 스스로 판단하고 행동하는 순간에도 조직의 위험 관리 체계가 작동할 수 있도록 새로운 AI 거버넌스의 기준과 방향을 제시한다.
이제는 AI를 잘 활용하는 것만으로는 충분하지 않다. AI가 잘못된 판단을 하거나 예상하지 못한 행동을 할 때, 조직이 실제로 통제할 수 있어야 한다. 『AI를 어떻게 통제할 것인가』는 AI의 자율성을 활용하면서도 인간의 통제권을 확보하고, 혁신과 위험관리 사이의 균형을 설계하는 방법을 제시한다. AI 시대의 거버넌스를 선언에서 실행으로, 원칙에서 통제로 전환하기 위한 실질적인 지침서다.
목차
프롤로그 - 4
제1부 AI와 AI 거버넌스
제1장 AI 시대의 구조적 전환과 법적 과제 AI 시대의 도래와 구조적 변화 - 22 AI 기술 확산과 사회·경제 구조의 변화 | 일상화된 AI와 의사결정 구조의 변화 | 생성형 AI 및 자율형 시스템의 산업적 확산 | AI가 인간의 판단과 사회적 관계에 미치는 영향 | AI 기술 발전과 새로운 규범 질서의 등장 AI 통제 가능성의 한계와 거버넌스의 필요성 - 30 AI 통제 가능성의 문제 제기 | 통제 가능성의 구조적 원인 | 다중 AI 및 자율형 AI 환경에서의 리스크 확대 | AI의 비선형성과 예측 가능성의 한계 | 결과 책임 중심 규율 체계의 한계 | AI 거버넌스의 필요성과 규범적 지향
제2장 AI 시스템 구조와 AI 거버넌스 책임의 기초 AI 시스템 및 알고리즘 구조의 이해 - 41 AI 및 알고리즘의 개념과 정의 | 자동 시스템 기술과 자율 시스템 기술의 구분 | AI의 유형과 기술적 특성 | 능력-권한 분리 원칙 | 생성형 AI와 자율형 AI의 구조적 특성 AI 리스크의 구조와 통제 한계 - 55 AI 리스크의 개념과 유형 | 데이터·모델·운영 단계별 리스크 구조 | AI의 구조적 특성과 거버넌스 리스크 자율형 AI 시스템과 전통적 책임 체계의 한계 - 91 자율형 AI와 통제 구조의 약화 | 본인-대리인 구조의 약화와 책임귀속 불명확성 | 책임귀속 불명확성의 확대와 전통적 책임 체계의 한계
제3장 AI 거버넌스 필요성과 이론적·법적 근거 AI 거버넌스의 필요성 - 102 기술 권력 시대의 새로운 규범 설계 요구 | AI 거버넌스와 통제 가능성 | 자율형 AI 환경에서 AI 거버넌스와 AI 감사의 기능적 재정립 | 통제 가능성과 감사 가능성 확보의 필요성 | 내부통제 기반 AI 거버넌스 구조의 필요성 AI 거버넌스의 이론적 근거 - 132 AI 거버넌스의 규범적 정당성과 사회계약론의 함의 | AI 거버넌스에 대한 사회계약론의 한계 | 책임귀속 구조의 불완전성과 통제 가능성의 문제 | 내부통제 기반 AI 거버넌스의 구현 AI 거버넌스의 법적 근거 - 157 헌법적 근거: 기본권 보호와 민주적 정당성 | 행정법적 근거: 투명성·책임성 원리와 감독 의무 | 국제 규범과 비교법적 규율 동향 | EU AI Act의 규범적 구조와 함의 | 리스크 기반 규율과 내부통제 기반 AI 거버넌스
제2부 AI 시대 의사결정 구조와 책임귀속 체계
제1장 AI 거버넌스에 대한 법적 통제의 유형과 구조 책임귀속 중심의 규범 구조 - 188 지원법과 규제법 | 사전 규제와 사후 책임 | 예방적 통제와 탐지적 통제 | 적응적 거버넌스와 지속적 감독 | 법적 책임 원칙과 AI 거버넌스 AI 거버넌스의 입법 동향과 제도 설계 - 193 유럽연합의 AI 규제 체계 | EU AI Act의 고위험 시스템과 인간 감독 의무 | AI 감독 체계와 규제 집행 구조 EU AI Act와 한국 AI 기본법의 규범 구조 비교 - 198 EU AI Act와 한국 AI 기본법의 비교 | 생성형 AI에 대한 규율 공백과 향후 과제 EU 디지털 규제 체계와 AI 규제의 구조적 연계 - 200 디지털 서비스법과 알고리즘 책임성의 제도화 | 디지털 시장법과 AI 경쟁 질서의 재구성 | 디지털 거버넌스법과 데이터 기반 AI의 제도적 기반 | AI Act와 EU 디지털 규제 체계의 구조적 결합 | EU AI 책임지침과 제조물 책임지침의 책임 구조 | OECD AI 원칙과 글로벌 AI 거버넌스 기준
제2장 주요 각국의 AI 거버넌스 구조 미국의 AI 리스크 관리 프레임워크와 AI 거버넌스 구조 - 207 미국 AI 거버넌스의 기본 방향 | NIST AI 리스크 관리 프레임워크(AI RMF) | AI 권리장전과 인간 중심 원칙 | 바이든 행정부의 AI 정책 | 트럼프 행정부의 AI 정책 방향 | 정책적 시사점 EU의 AI 규제 및 감독 체계 - 212 EU AI Act의 규범 구조 | 고위험 AI 규율과 적합성 평가 | GPAI 및 생성형 AI 규율 체계 | 감독기관 및 집행 체계 중국·일본·한국의 AI 거버넌스 비교 - 215 중국의 국가주도형 AI 거버넌스 | 일본의 자율 규제 중심 AI 거버넌스 | 한국의 혼합형 AI 거버넌스 | 비교법적 시사점과 거버넌스 구조의 전환
제3부 AI 자율성과 법적 책임 구조
제1장 AI 자율성과 법적 주체성 논의의 한계 AI 자율성의 의미와 한계 - 220 AI 자율성과 책임귀속 문제 | AI 법적 주체성 논의의 한계 | AI 자율성에 대한 법적 평가 AI의 자율성과 비인간 대리인 이론의 전개 - 224 전통적 대리 법리의 한계와 AI 에이전트 | AI 에이전트에 대한 대리 법리의 적용 가능성과 한계 | 기능적 대리인으로서의 AI의 법적 의미와 한계 | 비인간 행위자 개념의 도입과 AI 거버넌스의 함의
제2장 AI의 법적 지위와 책임귀속 구조 AI의 법적 지위와 책임귀속 구조 - 238 법적 주체성과 법적 지위의 구별 | AI 행위의 법적 귀속과 책임 배분 | 대리 법리와 AI 적용의 한계 | AI 거버넌스와 책임귀속 구조의 재구성 AI 자율성의 등장과 전통적 인격 개념의 재구성 - 251 AI 자율성의 개념과 특징 | 자율적 의사결정과 책임귀속 문제 | 기존 책임 체계의 한계 | 통제 가능성의 중요성 | 전자인격 논의와 그 한계 AI와 형사 책임귀속 구조의 재편 - 255 전통적 형사 책임 구조와 AI 책임 문제의 발생 | AI의 형사 책임 주체성 논의 | 책임능력 재구성과 거버넌스 책임 | 피지컬 AI의 자율성과 법적 귀속의 구조적 문제 | AI에 대한 법적 행위능력 부여 가능성 | AI 책임 구조와 거버넌스 책임의 전환
제3장 AI 법인격과 책임귀속 구조 AI 법인격 논의의 이론적 전제 - 265 약한 AI 단계에서의 전통적 책임귀속 구조 | 강한 AI 개념과 법인격 논의의 등장 | 현 단계 AI의 자율성과 법적 한계 | AI 의사결정의 활용 확대와 책임 공백 문제 | AI 책임 공백 보완을 위한 거버넌스 체계 AI 법인격 논의의 한계와 책임 구조의 재구성 - 269 자율형 AI 시스템의 법적 지위와 행위능력 | 법인 이론과 AI 법인격 논의 AI 거버넌스와 책임귀속의 재구성 - 271 자율형 AI 환경에서 책임귀속 구조의 변화 | 기술 권력의 구조적 특성과 책임귀속의 곤란성 | 설명 가능성의 한계와 AI 시스템의 불투명성 | AI 법인격 논의의 한계와 거버넌스 책임의 전환 | 통제 가능성과 감사 가능성의 재구성 | 내부통제 기반 AI 거버넌스의 필요성 향후 AI 거버넌스의 과제와 다층적 통제 구조 - 282 자율형 AI 시대의 가치 전환: '효율성'에서 '통제 가능성'으로 | AI 거버넌스 전제로서 내부통제: AI는 내부통제를 대체하지 않는다 | AI 에이전트 시대와 행위 중심 거버넌스 | 다층적 AI 거버넌스 체계의 구축
제4부 AI 책임귀속 구조와 거버넌스 책임 이론
제1장 AI의 책임귀속 구조 AI 시스템과 책임귀속 구조의 기초 - 290 새로운 책임귀속 법리의 필요성 | AI의 권리 주체성 부정과 법적 성격 | AI 자율성과 책임귀속의 재구성 I AI 거버넌스의 구조와 책임귀속 체계 | AI 시스템에 의한 손해 발생 구조와 통제실패 | AI 관련 손해와 AI의 과실 판단 기준 전통적 과실 책임주의의 한계 - 301 AI 환경에서 과실 책임 구조의 재검토 | 예측 불가능성과 인과관계 규명의 한계 | AI 자율성과 책임귀속 구조의 변화 | AI 의사결정과 사용자 책임 | 과실 책임에서 거버넌스 책임으로의 전환 과실 책임에 기한 법적 구성과 한계 - 304 감독자 책임의 적용 가능성 | AI의 행위에 대한 사용자 책임의 적용 가능성 | 사용자 책임 법리의 확장과 AI 의사결정의 행위 귀속 구조 | 공작물 점유자 책임의 적용 가능성 | 동물 점유자 책임 법리와의 비교 가능성 | 과실 책임 체계의 한계와 AI 거버넌스 책임 구조의 필요성 무과실 책임에 기한 법적 구성 - 320 공작물 소유자·점유자 책임의 적용 가능성 | 제조물 책임의 적용 가능성 | 자동차운행자 책임 | 무과실 책임 체계의 한계와 시사점
제2장 AI의 책임 모델과 거버넌스 책임 이론 AI 시스템의 기술적·사회적 특성 - 334 AI 시스템의 자율성 확대와 인간의 통제 가능성의 약화 | 생성형 AI의 확률적 비결정성과 예측가능성의 한계 | AI 시스템의 설계·운영 구조와 책임귀속 체계의 변화 | 트리스탄 해리스의 설계 책임론과 구조적 책임의 확장 AI 책임 구조의 재구성과 새로운 책임 모델 - 338 전통적 책임법 체계의 한계와 논의 배경 | 위험 책임주의(Strict Liability, Gefahrdung-shaftung) | 편익 책임주의(Benefit Liability) | 실정법상 책임 체계의 한계 | 내부통제 기반 AI 거버넌스의 운영 원리 | AI 리스크와 책임 원리의 차등 적용 AI 시스템의 공정성과 통제 가능성의 한계 - 398 AI 공정성의 법적 의미와 한계 | 편향 발생 구조와 공정성 침해 위험 | 공정성의 상대성과 구조적 한계 | 공정성의 한계와 인간 판단의 역할 | 공정성 확보를 위한 거버넌스 과제 AI 시스템의 기술적 통제와 내부통제 메커니즘 - 401 기술적 통제의 의의 | 설명 가능성과 감사 가능성 | 로깅·모니터링·추적 가능성 | 인간 감독과 최종 개입권 | AI 에이전트 시대의 운영 중심 통제 내부통제 기반 AI 거버넌스와 감독 체계의 구축 - 406 기술적 통제의 한계와 내부통제의 필요성 | AI 거버넌스와 3선 모델의 적용 | 내부통제와 내부감사의 역할 확대 | 운영 중심 AI 거버넌스와 지속적 감독 | 알고리즘 감사와 책임성 확보
제5부 AI 감사와 AI 알고리즘 감사
제1장 AI 감사제도의 구조 AI 감사의 구조적 필요성과 감사 패러다임의 기능 전환 - 412 AI 권력의 확산과 감사의 필요성 | 자율형 AI 환경에서 책임귀속 구조의 변화 | 감사 패러다임 전환과 알고리즘 감사 체계 확립 알고리즘 감사의 단계 및 범위 - 426 감사계획 및 리스크 식별 단계 | 데이터·모델 구조 및 학습 체계 분석 단계 | 테스트·설명 가능성 및 영향평가 단계 | 내부통제와 관리 체계 적정성 점검 단계 | 보고 및 개선 권고 단계 | 사후 모니터링과 지속적 감시 체제 구축 알고리즘 감사 프레임워크의 구성 - 433 AI 데이터 거버넌스와 입력 통제 체계 | 모델 설계 및 검증에 관한 통제 체계 | 운영 및 모니터링 절차의 확립 여부 | 거버넌스 체계와 책임 구조의 설계 | 윤리·규제 준수 평가 및 외부 연계 체계 | 사고 대응 체계와 위기관리 체계 | 공급망 및 외부 벤더 등 제3자 리스크 평가 | 조직 문화와 AI 통제환경 | 알고리즘 감사 프레임워크의 보완적 구성 요소 알고리즘의 불투명성과 감사 가능성의 한계 - 444 알고리즘 블랙박스 개념과 구조적 특성 | 감사인의 전문성 및 독립성 부족과 이해상충 문제 | 알고리즘 감사의 규범화와 제도화의 한계 | 데이터 편향과 알고리즘 편향의 구조적 존재 1 학습데이터 리스크와 감사 리스크의 구조적 전환 | 감사 표준의 다원화와 인증 체계의 한계 | 알고리즘 감사의 다층적 감독 구조와 책임귀속 문제 AI 알고리즘 감사의 고유 리스크로서 구조적 리스크 - 453 알고리즘의 불투명성과 고유 리스크의 구조적 특성 | 알고리즘 감사의 형식적 적합성과 실질적 무력화 문제 | 구조적 리스크 발생과 책임귀속의 한계
제2장 AI 환경의 통제 리스크와 감사의 한계 AI 환경에서 통제 리스크의 구조적 변화 - 469 설명 가능성과 감사 가능성 확보를 위한 내부통제의 한계 | 책임 배분 구조의 불명확성과 통제 리스크의 확대 | 데이터 접근권 및 검증권에 대한 통제의 한계 | 자율형 AI 환경에서 인간 통제 가능성의 약화 | 지속적 모니터링과 동태적 통제 체계의 필요성 | 모델 드리프트와 운영 단계 통제 리스크의 확대 AI 감사의 구조적 한계와 적발 리스크 - 476 적발 리스크의 의의와 AI 감사 환경의 특수성 | 설명 가능성 부족으로 인한 감사증거 수집의 한계 | 책임귀속의 불명확성과 적발 기준의 불완전성 | AI 감사 리스크의 상호작용과 구조적 증폭 효과 AI 알고리즘 감사의 구조적 한계와 거버넌스 과제 - 481 기술적 투명성과 제도적 한계 간의 충돌: 책임귀속 공백 문제 | 데이터 지배력 집중에 따른 구조적 리스크 | 정치·사회적 편향과 알고리즘 거버넌스 리스크 | 감사 범위의 불명확성과 책임전가 리스크 | 감사 기준의 불명확성과 규제 정합성 문제 | AI 의사결정의 왜곡 가능성과 윤리통제의 한계 | AI 알고리즘 감사의 구조적 한계와 다층적 거버넌스 체계의 필요성
제3장 AI 감사의 제도적·정책적 개선 방향과 한계 AI 알고리즘 감사의 규범적 프레임워크 - 492 리스크 기반 규율과 권리보호 중심 원칙 I 설명 가능성과 감사 가능성 중심의 거버넌스 구조 | 지속적 모니터링과 동태적 감사 메커니즘 | 내부통제와 거버넌스 책임의 연계: COSO 내부통제 기반 AI 거버넌스 | AI 알고리즘 감사의 구조적 한계 AI 감사의 제도적·정책적 개선방향 - 504 법적·제도적 기반 정비 | 기술적 감사 도구 및 감사 가능성 체계 구축 | 감사인 역량 및 전문성 강화 | 독립적 감사기구 도입 논의와 그 한계 | AI 영향평가제도의 강화 및 연계 알고리즘 감사에 대한 주요국의 규제와 입법 동향 - 515 미국 | 유럽연합(EU) | 알고리즘 감사에 대한 비교법적 함의
제4장 AI 시스템에 대한 기술적 감시 조치와 통제 메커니즘 AI 시스템의 예방적 내부통제와 지속적 모니터링 시스템 - 524 훈련 데이터 및 알고리즘의 관리·통제 | 피드백 루프의 설계 및 운영 통제 | 지속적인 모니터링 시스템과 런타임 통제 | 모델 변경 관리와 리스크 통제 내부통제와 AI 감사 체계 - 535 설명 가능성·투명성 및 추적 가능성 | AI 안전성·보안성 및 신뢰성 확보 | 감사 가능성과 내부감사 체계 | 국내외 규제 체계와 거버넌스 책임 AI 시스템의 윤리적·사회적 거버넌스와 인간 감독 - 547 윤리 원칙 기반 거버넌스 체계의 구조화 | 인간 중심 통제(Human-in/on-the-Loop)와 인간 감독 체계 | 책임 추적성과 책임귀속 구조 | 알고리즘 영향평가와 사전적 리스크 통제 AI 시스템의 긴급 통제와 위기 거버넌스 - 559 킬 스위치의 법적·기술적 의의 | AI 시스템 긴급 중단 조치의 필요성과 한계 | 위험 대응 및 사고 대응 체계 | 초연결 AI 환경에서의 위기 거버넌스 책임