블랙박스에서 화이트박스까지: AI 에이전트가 기업에게 미스터리가 되어서는 안 되는 이유
인공 지능은 실험을 통해 기업의 운영 핵심으로 결정적으로 등장했습니다. 이제 Agent AI는 데이터, 도구 및 비즈니스 로직을 연결하여 이전에 직접적인 인간 조정이 필요했던 엔드투엔드 작업을 수행하는 실행 계층의 역할을 합니다.
비즈니스 리더가 직면한 문제는 더 이상 AI 에이전트를 배포할지 여부가 아니라 감사 조사, 운영 실패 및 이사회 수준의 위험 검토를 견딜 수 있는 방식으로 이를 수행하는 방법입니다.
Globant의 정보 이사.
기회는 엄청납니다. 이제 여러 생산성 연구에 따르면 에이전트 기반 AI가 비즈니스 워크플로, 특히 연구, 분석 및 고객 운영에 직접 통합될 때 효율성이 두 자릿수 향상되는 것으로 나타났습니다.
그러나 이러한 약속에도 불구하고 거의 95%의 AI 파일럿이 생산에 도달하기 전에 중단됩니다. 이는 모델이 실패해서가 아니라 기업이 이러한 시스템이 규모에 맞게 작동하는 방식에 대한 신뢰를 잃기 때문입니다.
이 격차는 중심 긴장을 드러냅니다. 기업은 AI의 잠재력을 믿지만 이를 안전하게 구현하는 방법에 대해서는 확신이 부족합니다. 많은 경영진에게 AI 시스템은 여전히 설명하기 어렵고, 감사하기 어렵고, 문제가 발생할 경우 방어하기가 거의 불가능한 불투명한 “블랙박스”로 작동합니다.
앞으로 나아가려면 사고방식의 변화가 필요합니다. 목표는 AI 에이전트를 격리하거나 관련성이 없도록 제한하는 것이 아니라, 혁신을 통해 발전하고 모든 단계에서 감독을 통합하는 거버넌스 프레임워크를 설계하는 것입니다.
고립은 답이 아니다
에이전시 AI가 API에 연결하고, 워크플로를 트리거하고, 다단계 작업을 실행하는 기능을 확보함에 따라 많은 조직에서는 노출을 극적으로 제한하여 대응하고 있습니다. 본능은 이해할 수 있습니다. 특히 규제가 있거나 위험이 높은 환경에서는 더 많은 자율성이 더 많은 위험처럼 느껴집니다.
그러나 AI 시스템의 고립은 보안에 대한 착각을 불러일으키는 동시에 실제 비즈니스 가치를 제공하는 데 필요한 컨텍스트를 박탈하는 경우가 많습니다.
실제 위험은 연결이 아닙니다. 관리되지 않는 연결입니다. 조직이 AI 에이전트를 좁은 샌드박스에 제한하면 원치 않는 동작을 줄일 수 있지만 시스템이 의미 있는 작업을 수행하는 데 필요한 컨텍스트도 제거됩니다.
실제로 지나치게 고립된 에이전트는 기술적으로 인상적이지만 운영상 관련이 없는 값비싼 프로토타입 이상으로 발전하는 경우가 거의 없습니다.
보다 지속 가능한 접근 방식은 점진적인 노출입니다. 즉, AI 에이전트의 동작이 신뢰할 수 있는 것으로 입증되면 데이터, 도구 및 워크플로에 대한 AI 에이전트의 액세스를 의도적으로 확장하는 것을 의미합니다.
이는 기업이 계층형 액세스, 모니터링 및 책임을 통해 이미 다른 고위험 시스템(금융 플랫폼, ERP 환경 또는 사이버 보안 도구)을 관리하는 방식을 반영합니다.
기업은 AI를 봉쇄하는 대신 다음을 보장해야 합니다.
- 액세스 권한은 의도적으로 범위가 지정됩니다.
- 도구 상호 작용이 모니터링됩니다.
- 데이터 흐름이 관리됩니다.
- 고용주는 계속 책임을 집니다.
격리는 단기적인 불안을 줄일 수 있지만 AI 기반 운영이 표준이 되는 미래에 기업을 준비시키는 것은 아닙니다. 책임 있는 혁신을 위해서는 AI 기능을 수용하는 동시에 이를 엄격하게 결합해야 합니다.
거버넌스는 혁신과 보조를 맞춰야 합니다.
기업은 정기적인 검토, 정적 정책, 하향식 승인을 통해 기존 소프트웨어에 접근하는 것과 동일한 방식으로 AI 거버넌스에 접근하는 경우가 많습니다.
그러나 에이전트 AI는 동적 환경에서 작동하며 실시간으로 새로운 정보와 상호 작용합니다. 정부는 분기별 검토나 정적인 정책 문서에만 의존할 수 없습니다. 에이전트 AI의 경우 일상적인 작업에 직접 통합되어야 하며 시스템이 학습하고 변경됨에 따라 발전해야 합니다.
최신 AI 거버넌스 프레임워크에는 다음을 포함한 여러 핵심 구성 요소가 포함됩니다.
● 회사 소유권 지우기: 각 AI 에이전트에는 목적, 제한 및 성능을 담당하는 지정된 소유자가 있어야 합니다. 명확한 비즈니스 소유자가 없는 에이전트는 통제 불능 시스템이 되어 실수가 발생할 때 모호함을 만들고 책임이 가장 중요한 경우를 비난합니다.
● 사용 사례 수준에서의 타당성 평가: AI가 기본 솔루션이 되어서는 안 됩니다. 비즈니스 요구 사항, 성공 지표, 운영 제약 조건 및 실패 모드에 대한 구조화된 평가를 따라야 합니다. 타당성을 미리 평가함으로써 기업은 준비를 전혀 하지 않는 파일럿의 비용이 많이 드는 주기를 줄입니다.
● 위험에 따른 액세스 제어: 최소 권한의 원칙은 필수적입니다. AI 에이전트에는 특정 작업을 수행하는 데 필요한 최소한의 액세스 권한만 부여되어야 하며 해당 액세스 권한은 작업이 발전함에 따라 변경되어야 합니다. 세분화된 권한과 지속적인 개정은 협상할 수 없습니다.
● 비즈니스 수준의 계약 및 데이터 보호: 기업은 다음을 명확하게 정의하는 모델 및 플랫폼 제공업체와 강력한 계약을 체결해야 합니다.
○ 비즈니스 데이터를 이용한 교육 금지
○ 상주 및 데이터 보존 매개변수
○ 감사 메커니즘
○ 보안인증
○ 투명성의 의무
이러한 법적 기반은 관료적 장애물이 아닙니다. 이는 안전하고 확장 가능한 채택을 가능하게 합니다.
● 지속적인 모니터링 및 평가: AI 시스템은 다른 미션 크리티컬 인프라에 적용되는 것과 동일한 엄격함으로 모니터링되어야 합니다. 여기에는 이상 탐지, 성능 드리프트 분석, 오류 에스컬레이션 경로 및 변경 관리 프로세스가 포함됩니다.
혁신의 속도로 진화하는 거버넌스는 단순한 방어 메커니즘이 아니라 지속 가능한 가치를 실현합니다.
인간의 책임은 차세대 AI 채택 물결의 리더를 정의할 것입니다.
AI 발전 속도에도 불구하고 한 가지 진실은 변하지 않습니다. 자율 시스템은 책임을 제거하지 않는다는 것입니다. 그들은 그것을 집중시킵니다. 오히려 자율 시스템의 출현으로 인해 인간의 판단, 윤리적 기준 및 감독의 필요성이 증가합니다.
실제로 인간의 책임은 협상할 수 없는 세 가지 방식으로 나타납니다.
- 해석: AI 에이전트는 데이터를 분석하고, 조치를 제안하고, 작업을 실행할 수 있지만 결과가 비즈니스 목표(및 사회적 기대)와 일치하는지 여부를 판단하려면 여전히 사람의 평가가 필요합니다.
- 간섭: 조직에는 인간 운영자가 AI 작업에 개입, 재정의, 리디렉션 또는 중지할 수 있는 메커니즘이 있어야 합니다. 이는 보안뿐만 아니라 신뢰를 위해서도 필수적입니다.
- 추적성: AI 에이전트는 액세스한 데이터, 사용한 도구, 내린 결정, 그 근거를 포함하여 모든 중요한 작업에 대해 투명하고 재현 가능한 기록을 생성해야 합니다. 감사 가능한 기록은 AI를 이론적 “블랙 박스”에서 리더가 감사자, 규제 기관 및 이사회에 설명할 수 있는 방어 가능한 기록 시스템으로 전환합니다.
다음 단계의 AI 리더십은 배치된 에이전트의 수보다는 조직의 결정을 설명하고, 관리하고, 방어하는 능력에 더 많이 좌우될 것입니다.
책임있는 사다리로 가는 길
보안 질문은 새로운 것이 아닙니다. 그들은 모든 주요 기술 변화에 나타났습니다. 참신한 점은 이러한 시스템이 현재 갖고 있는 자율성의 정도입니다.
격리된 실험에서 엔터프라이즈 규모로 이동하려면 기업은 실현 가능성, 적응형 거버넌스, 사람의 감독 및 추적성을 기반으로 채택 과정을 시작해야 합니다.
AI 에이전트는 수수께끼로 남을 필요는 없지만 투명성, 책임성, 신뢰는 우연히 발생하지 않습니다. 현재 이를 내부화하는 조직은 향후 10년 동안 책임 있는 혁신을 정의하는 조직이 될 것입니다.
최고의 IT 자동화 소프트웨어를 선보였습니다..
이 기사는 TechRadarPro의 Expert Insights 채널의 일부로 제작되었으며, 오늘날 기술 업계에서 가장 뛰어난 인재들을 소개합니다. 여기에 표현된 견해는 저자의 견해이며 반드시 TechRadarPro 또는 Future plc의 견해는 아닙니다. 협업에 관심이 있다면 여기에서 자세히 알아보세요.