캘리포니아 주정부의 AI 조달 계약 기준이 2026년 대폭 강화됩니다. 알고리즘 편향, 시민권 침해, 불법 콘텐츠 방지 안전장치 증명이 의무화되며, 위반 시 계약 불이익이 따릅니다. 새로운 표준은 AI 윤리 및 안전의 글로벌 벤치마크가 될 것입니다.
캘리포니아, AI 안전 조달 새 기준 제시
2026년, 캘리포니아 주정부는 AI 기술 조달에 전례 없이 엄격한 안전 기준을 도입했습니다. 개빈 뉴섬 주지사가 서명한 행정명령에 따라, 주정부에 AI 솔루션을 판매하려는 모든 기업은 알고리즘 편향, 시민권 침해, 불법 콘텐츠 방지 등 포괄적인 안전장치 마련을 의무적으로 증명해야 합니다. 이는 AI 시대의 윤리적 사용과 시민 보호를 위한 캘리포니아의 강력한 의지를 반영합니다. 주 일반 서비스국과 캘리포니아 기술국은 향후 120일 이내에 새로운 공급업체 인증 제도를 마련할 예정입니다. 이 조치는 AI 윤리의 새로운 글로벌 표준을 제시할 것으로 기대됩니다.
강화된 AI 공급업체 인증 요건
새로운 인증 요건은 기업들에게 심도 깊은 준비를 요구합니다. 공급업체는 아동 성 착취물, 비동의적 친밀 이미지와 같은 불법 콘텐츠의 착취 또는 유포를 방지하는 안전장치를 증명해야 합니다. 또한, 유해한 편향을 보이거나 그러한 위험을 줄이기 위한 거버넌스가 부족한 모델 사용을 금지합니다. 자유 발언, 투표, 인간 자율성, 불법 차별 및 감시로부터의 보호와 같은 시민권 및 자유 침해 방지 대책 역시 필수적입니다. 이러한 기준은 단순히 기술적 성능을 넘어 AI의 사회적 영향까지 포괄적으로 고려합니다.
과거 위반 이력 기업의 주 계약 제한
뉴섬 주지사의 행정명령은 기존 정부 조달 기준을 뛰어넘는 혁신적인 변화를 포함합니다. 정부 운영국은 같은 120일 이내에 “사생활 또는 시민의 자유를 불법적으로 침해했다고 사법적으로 판단된” 기관의 주정부 계약을 금지하는 개혁안을 권고할 예정입니다. 이는 기업의 재정 안정성, 보안 인증, 과거 실적을 넘어선 새로운 자격 기준으로 작용합니다. AI 개발 및 활용 과정에서 윤리적 책임을 다하지 않은 기업에게는 캘리포니아 주정부와의 거래가 어려워질 수 있음을 명확히 시사하며, AI 윤리에 대한 명확한 선을 긋고 있습니다.
캘리포니아의 AI 시장 리더십과 글로벌 영향력
캘리포니아는 전 세계 AI 시장에서 독보적인 위치를 차지하고 있습니다. 전 세계 상위 50개 비상장 AI 기업 중 33개가 캘리포니아에 본사를 두고 있으며, 미국 AI 특허의 25%를 차지합니다. 카운터포인트 리서치의 닐 샤 부사장은 “캘리포니아가 조달, 안전, 윤리 측면에서 사실상의 AI 표준을 제시하려 한다”고 평가했습니다. 이처럼 강력한 시장 리더십을 바탕으로 캘리포니아가 설정한 AI 안전 및 윤리 기준은 전 세계 AI 산업에 중요한 벤치마크 역할을 할 것으로 기대됩니다. 이는 AI 기술의 책임 있는 발전을 촉진할 것입니다.
주정부의 연방 정책 독립적 조치
이번 행정명령은 연방 차원의 AI 감독 후퇴 속에서 캘리포니아 주정부가 독자적인 길을 걷고 있음을 보여줍니다. 주 최고정보보안책임자(CISO)에게 연방 공급망 위험 지정을 검토할 권한을 부여하며, CISO가 연방 금지가 부적절하다고 판단할 경우 해당 기업과의 조달을 계속 허용할 수 있도록 했습니다. 닐 샤 부사장은 이러한 CISO 재량권이 “공급업체의 지정학적 위험을 줄이고 다른 곳에서 거부당한 공급업체에게 한 번 더 기회를 제공한다”고 설명했습니다. 캘리포니아는 AI 규제에서 자체적인 주권을 행사하며 유연성을 확보하고 있습니다.
워터마킹, 생성형 AI 도구 및 데이터 최소화 지침
공급업체 감독 외에도 행정명령은 다양한 AI 관련 지침을 포함합니다. 캘리포니아 기술국은 주법에 따라 “AI 생성 또는 중요하게 조작된 이미지 또는 비디오”에 대한 워터마킹 모범 사례 지침을 발표할 예정입니다. 이는 미국 내 최초의 요구사항입니다. 또한, 주정부 기관이 직원들에게 적절한 개인 정보 보호 및 사이버 보안이 적용된 검증된 생성형 AI 도구에 접근하도록 하고, 주민 대상 서비스에 생성형 AI 애플리케이션을 시범 적용하며, 민감한 데이터를 다루는 부서를 위한 데이터 최소화 도구 키트를 공개하도록 지시했습니다. 이 조치들은 AI 활용의 투명성과 안전성을 높입니다.
캘리포니아의 AI 거버넌스 지속적 추진
이번 행정명령은 뉴섬 주지사의 첫 AI 거버넌스 움직임이 아닙니다. 2025년 9월, 그는 대규모 최첨단 AI 개발자에게 안전 프레임워크 공개 및 주요 안전 사고 보고를 의무화하는 ‘최첨단 AI 투명성 법’에 서명했습니다. 2026년 1월에는 고용, 의료, 교육, 가격 알고리즘을 다루는 20개 이상의 캘리포니아 AI 법규가 발효되었습니다. 유럽연합의 AI 법과 연동된 ‘AI 모델 계약 조항’과 유사하게, 캘리포니아는 AI 윤리와 안전을 조달의 핵심 축으로 삼아 선도적인 역할을 수행하며 글로벌 AI 규제 논의를 이끌고 있습니다.
AI 산업에 미치는 영향 및 미래 전망
닐 샤 부사장은 캘리포니아 주정부가 CIO와 CISO에게 업타임 및 가격을 넘어선 ‘윤리적 거버넌스’라는 세 번째 조달 기준을 추가했다고 분석했습니다. 새로운 인증 요구사항은 특히 소규모 공급업체에게 더 큰 규제 부담과 복잡성을 초래할 수 있습니다. 그러나 그는 “일단 캘리포니아 인증을 받으면, 이들 기업이 전 세계로 상대적으로 순조롭게 확장할 강력한 선례가 된다”고 덧붙였습니다. 캘리포니아의 이번 조치는 AI 기술의 책임 있는 발전을 위한 중요한 전환점이 될 것이며, 장기적으로는 AI 시장의 건전한 성장을 유도할 것입니다.
