AI에게 기업 데이터를 어디까지 맡길 것인가?

기업용 AI 시대의 보안, 접근 권한 그리고 AI Governance

AI가 기업의 실제 업무에 활용되기 위해서는 기업 데이터를 이해해야 한다. 지난 칼럼에서 살펴본 것처럼 ERP의 거래 데이터, CRM의 고객 정보, 공급망 데이터, 계약서, 이메일, 업무 매뉴얼 등이 AI와 연결될수록 AI는 단순한 질문·답변 도구를 넘어 기업의 상황을 이해하고 실제 업무를 지원할 수 있게 된다. 하지만 여기서 중요한 질문이 생긴다. 기업의 중요한 데이터를 AI에게 어디까지 맡겨도 되는가? AI가 더 똑똑해지기 위해서는 더 많은 데이터가 필요하지만, 기업 입장에서는 그만큼 보안과 통제의 중요성도 커진다.

결국 핵심은 AI를 사용할 것인가가 아니라 “누가, 어떤 데이터에, 어떤 목적으로, 어디까지 접근할 수 있도록 할 것인가?”이다.

AI는 새로운 보안 문제를 만들었다

기업은 오랫동안 정보보안에 투자해 왔다. ERP에는 사용자별 권한을 설정하고, 주요 파일에는 접근 권한을 부여하며, 금융정보와 개인정보는 별도로 관리한다. 하지만 AI는 기존 시스템과 다른 방식으로 정보를 사용한다. 과거에는 직원이 특정 정보를 보기 위해 ERP나 파일 서버에 직접 접속해야 했지만, 이제는 AI에 자연어로 질문하는 것만으로 여러 시스템의 정보를 한 번에 검색할 수 있다. 예를 들어 “우리 회사 직원들의 급여 수준을 정리해 줘”, “가장 높은 가격으로 계약된 고객 20곳을 알려 줘”, “현재 진행 중인 법률 분쟁과 관련된 이메일을 정리해 줘”와 같은 요청이 가능하다.

그러나 AI가 기술적으로 정보를 찾을 수 있다고 해서 모든 직원이 그 정보를 볼 수 있어야 하는 것은 아니다. 따라서 기업용 AI에서는 AI가 무엇을 할 수 있는가보다 누구에게 무엇을 보여줄 수 있는가가 더 중요하다.

가장 중요한 것은 Access Control이다

기업용 AI 보안의 출발점은 단순하다. AI가 사용자의 기존 권한을 넘어서는 정보를 보여주지 않아야 한다. ERP에서 특정 법인의 재무정보에 접근할 권한이 없는 직원은 AI를 통해서도 그 정보를 볼 수 없어야 하며, HR 시스템에서 급여정보를 볼 수 없는 사용자에게 AI가 해당 정보를 제공해서도 안 된다. AI는 모든 기업 데이터를 볼 수 있는 거대한 창구가 아니라, 기존 권한 체계를 준수하는 도구여야 한다. 이를 위해 Role-Based Access Control(RBAC), 즉 역할 기반 접근 통제를 정교하게 적용해야 한다.

AI should know more, but users should only see what they are authorized to see. AI가 기업 전체의 데이터를 활용하더라도, 사용자는 자신의 업무와 권한 범위에 해당하는 정보만 볼 수 있어야 한다.

Shadow AI라는 새로운 문제

기업들이 직면한 또 하나의 문제는 Shadow AI다. 과거 직원이 회사 승인 없이 Dropbox나 개인 Cloud Storage를 사용하는 것을 Shadow IT라고 불렀다면, 이제는 개인 AI 서비스에 고객정보, 계약서, 소스코드, 재무자료 또는 내부 문서를 입력하는 비슷한 현상이 나타나고 있다. 직원에게는 업무 효율을 높이기 위한 행동일 수 있지만, 기업은 해당 데이터가 어디에 저장되고 어떻게 처리되며 외부에서 다시 사용될 가능성이 있는지 통제하기 어려울 수 있다. 그렇다고 단순히 “AI를 사용하지 말라”고 하는 것만으로 문제를 해결하기는 어렵다. 직원들은 이미 AI의 생산성 향상 효과를 알고 있기 때문이다.

현실적인 방법은 회사가 승인한 AI 환경을 제공하고, 사용 가능한 데이터와 제한해야 할 데이터를 명확히 구분하는 것이다. AI를 막는 것보다 안전하게 사용할 수 있는 구조를 만드는 것이 중요하다.

모든 데이터를 AI에 연결할 필요는 없다

AI 프로젝트에서 흔히 빠지는 함정은 가능한 한 많은 데이터를 연결하려는 것이다. 하지만 AI가 데이터를 사용할 수 있다고 해서 모든 데이터를 연결해야 하는 것은 아니다. 일반적인 제품 정보나 업무 매뉴얼처럼 위험도가 낮은 데이터도 있지만, 고객 개인정보, 직원 정보, 가격정책, 계약 조건, 소스코드, M&A 자료처럼 민감한 데이터도 있다. 따라서 AI 도입 초기에는 데이터를 분류하고 접근 수준을 정의해야 한다.

예를 들어 Public → Internal → Confidential → Highly Restricted와 같이 구분하고, 각 등급에 따라 AI가 검색만 할 수 있는지, 분석할 수 있는지, 외부 시스템과 연계해 Action까지 수행할 수 있는지를 결정해야 한다. 이는 기존 정보보안 정책과 크게 다르지 않지만, AI 시대에는 정보에 대한 접근뿐 아니라 AI가 그 정보로 무엇을 할 수 있는가까지 관리해야 한다는 차이가 있다.

Agentic AI에서는 위험이 한 단계 더 커진다

ChatGPT와 같은 Generative AI가 주로 정보를 제공했다면, Agentic AI는 실제 행동까지 수행할 수 있다. 이 때문에 AI Governance의 중요성이 더욱 커진다. AI가 이메일 초안을 작성하는 것과 고객에게 실제로 발송하는 것은 다르다. 구매 가격을 분석하는 것과 Purchase Order를 발행하는 것도 다르며, 지급 대상 Invoice를 추천하는 것과 은행에 Payment Instruction을 전달하는 것은 더욱 큰 차이가 있다. 따라서 AI에게 업무를 맡길 때는 Read, Recommend, Act의 권한을 구분해야 한다.

처음에는 데이터를 읽고 분석하는 Read 단계에서 시작해 업무를 추천하는 Recommend 단계로 발전시키고, 충분한 통제와 검증 체계가 마련된 이후에 직접 업무를 수행하는 Act 단계로 확대하는 것이 바람직하다. 모든 업무를 처음부터 완전 자동화할 필요는 없다.

Human-in-the-Loop는 여전히 중요하다

AI가 더 많은 판단을 수행한다고 해서 사람이 완전히 빠져야 하는 것은 아니다. 중요한 의사결정일수록 사람의 검토가 필요하며, 이를 Human-in-the-Loop라고 한다. 예를 들어 AI가 직원의 Expense Report를 검토해 일반적인 비용은 자동 승인하되, 일정 금액 이상이거나 비정상적인 항목은 Manager에게 승인을 요청하도록 설계할 수 있다. 구매 업무에서도 AI가 공급업체와 가격을 비교해 최적의 업체를 추천하더라도, 일정 금액 이상의 계약은 사람이 최종 승인하게 할 수 있다.

AI Governance의 목적은 모든 AI 의사결정을 사람이 다시 확인하는 것이 아니다. 그렇게 한다면 자동화의 의미가 사라진다. 중요한 것은 어떤 상황에서 AI가 결정하고, 언제 사람이 개입해야 하는지를 미리 정의하는 것이다.

AI의 판단도 기록되어야 한다

기업 시스템에서는 중요한 거래가 기록으로 남는다. 누가 Purchase Order를 승인하고, Invoice를 지급했으며, 고객의 Credit Limit을 변경했는지 확인할 수 있다. AI도 마찬가지다. 누가 요청했는지, 어떤 데이터를 참고했는지, 어떤 판단을 내렸고 어떤 Action을 수행했는지 기록해야 한다. 이를 Audit Trail이라고 한다. AI가 잘못된 결정을 내렸을 때 단순히 “AI가 그렇게 판단했습니다”라고 설명할 수는 없다. 기업은 AI의 판단 과정과 결과를 추적할 수 있어야 하며, 그래야 문제를 수정하고 책임을 구분하며 같은 문제가 반복되는 것을 방지할 수 있다.

AI Governance는 IT 부서만의 일이 아니다

AI Governance를 IT나 Cybersecurity 조직의 업무로만 생각하기 쉽지만, 실제로는 기업 전체가 참여해야 한다. Finance 업무에는 CFO 조직이, HR 데이터에는 HR이, 고객 데이터에는 Sales와 Marketing이 관여해야 한다. 법률과 개인정보 문제에는 Legal과 Compliance가 참여해야 하며, AI가 중요한 업무를 자동 수행한다면 경영진도 의사결정 권한의 범위를 판단해야 한다. 따라서 AI Governance는 단순한 기술 프로젝트가 아니라 기업 전체의 Operating Model에 관한 문제에 가깝다.

AI 시대에는 ‘신뢰’도 설계해야 한다

기업들이 AI를 도입할 때 흔히 묻는다. “AI를 믿을 수 있는가?” 하지만 사람도 항상 올바른 판단을 하는 것은 아니다. 그래서 기업은 사람을 무조건 신뢰하기보다 권한, 승인 절차, 업무 분리, 감사와 같은 통제 시스템을 만들어 운영한다. AI도 마찬가지다. 무조건 믿거나 의심하는 것이 아니라 신뢰할 수 있도록 시스템을 설계해야 한다. 누가 사용할 수 있는지, 어떤 데이터에 접근할 수 있는지, 어디까지 판단하고 어떤 Action을 수행할 수 있는지, 언제 사람이 개입해야 하며 모든 과정이 기록되는지를 명확히 해야 한다. 이러한 구조가 만들어질 때 AI는 비로소 기업의 중요한 업무에 사용할 수 있는 도구가 된다.

AI를 많이 사용하는 기업보다 잘 통제하는 기업

AI 시대의 경쟁력은 얼마나 많은 AI를 도입했는지로만 결정되지 않을 것이다. 오히려 AI를 기업 데이터와 업무 프로세스에 얼마나 안전하게 연결하고 효과적으로 통제하는지가 중요한 차이를 만들 수 있다. 기업 데이터는 AI를 더욱 똑똑하게 만들지만, 그 데이터에 접근하는 AI에는 그에 맞는 책임과 통제가 필요하다.

결국 기업이 고민해야 할 질문은 “AI에게 데이터를 보여줄 것인가?”에서 끝나지 않는다. 보다 중요한 질문은 “AI에게 무엇을 보여주고, 무엇을 판단하게 하며, 어디까지 행동하도록 허용할 것인가?”이다.
AI의 능력이 커질수록 기업에 필요한 것은 더 많은 자유가 아니라, 더 명확한 권한과 책임의 설계다.