Series 6 | Why Does AI Need Enterprise(ERP) Data?
AI는 세상에 대한 지식은 많지만, 개별 기업의 고객·매출·재고·계약·업무 이력은 알지 못하기 때문에 기업 데이터가 필요합니다.
ERP·CRM·SCM·사내 문서가 AI와 연결될수록 AI는 단순한 답변 도구를 넘어 실제 기업 상황을 이해하고 분석·판단하는 도구가 됩니다.
결국 기업 AI의 경쟁력은 어떤 AI를 쓰느냐보다 자사 데이터를 얼마나 잘 정리하고 연결해 AI가 이해할 수 있게 하느냐에 달려 있습니다.
AI는 놀라울 정도로 많은 것을 알고 있다. 시장 동향을 설명하고, 문서를 작성하며, 코드를 만들고, 계약서를 요약하고, 때로는 상당히 수준 높은 경영 조언까지 제공한다. 그렇다면 한 가지 질문이 생긴다. 이렇게 많은 것을 알고 있는 AI에게 왜 기업은 별도의 데이터를 제공해야 하는가? 답은 의외로 단순하다. AI는 세상에 대해서는 많이 알고 있지만, 우리 회사에 대해서는 거의 아무것도 모르기 때문이다.
AI는 세상을 알지만, 우리 회사를 모른다 범용 AI는 방대한 공개 데이터를 기반으로 학습되어 있다. 산업 구조, 회계 원칙, 공급망, 마케팅, 법률, IT 시스템과 같은 일반적인 지식에 대해서는 매우 강력하다. 하지만 AI에게 다음과 같이 물어본다고 생각해보자. “이번 분기 매출이 왜 떨어졌는가?” 이 질문에 제대로 답하려면 단순한 산업 지식만으로는 부족하다.
AI는 우리 회사의 고객별 매출을 알아야 하고, 제품별 마진을 알아야 하며, 최근 주문 감소가 특정 지역에서 발생했는지, 특정 고객에게서 발생했는지 확인해야 한다. 재고 부족이 원인이었는지, 가격 인상이 영향을 주었는지, 고객 이탈이 있었는지, 영업 활동이 줄어들었는지도 알아야 한다. 이 모든 정보는 인터넷에 존재하지 않는다. ERP, CRM, SCM, POS, Data Warehouse 그리고 각종 사내 시스템 안에 존재한다.
바로 이 지점에서 기업 데이터의 중요성이 시작된다. 기업용 AI와 일반 AI의 가장 큰 차이 일반적인 AI는 질문에 대한 ‘그럴듯한 답’을 제공할 수 있다. 하지만 기업이 원하는 것은 그보다 훨씬 구체적이다. “우리 회사에서 무슨 일이 일어나고 있는가?” “왜 이런 결과가 발생했는가?” “앞으로 어떤 문제가 생길 가능성이 있는가?” “지금 무엇을 해야 하는가?” 이 질문에 답하려면 AI가 기업의 실제 데이터를 이해해야 한다. 예를 들어 유통회사의 경영자가 이렇게 질문할 수 있다. “지난 6개월 동안 매출은 증가했는데 왜 현금은 부족한가?” 일반적인 AI라면 매출채권 증가, 재고 증가, 비용 상승 가능성을 설명할 것이다. 하지만 기업 데이터와 연결된 AI라면 이야기가 달라진다.
특정 고객의 Accounts Receivable이 늘어났고, 평균 회수 기간이 42일에서 61일로 증가했으며, 동시에 특정 제품군의 재고가 과도하게 증가했다는 사실을 찾아낼 수 있다. 그리고 더 나아가 어떤 고객에게 Collection을 강화해야 하는지, 어떤 재고의 발주를 줄여야 하는지까지 제안할 수 있다. 이것이 Generic AI와 Enterprise AI의 차이다. 기업 데이터는 AI에게 ‘Context’를 제공한다 AI에서 가장 중요한 단어 중 하나가 Context, 즉 맥락이다. 사람도 마찬가지다.
회사의 사정을 모르는 외부 전문가와 회사에서 10년 동안 일한 사람이 같은 숫자를 보더라도 해석은 다를 수 있다. 기업의 AI도 마찬가지다. 매출 데이터 하나만으로는 충분하지 않다. 고객, 제품, 가격, 재고, 공급업체, 계약 조건, 영업 기록, 비용 구조와 같은 정보가 연결되어야 제대로 된 맥락이 만들어진다. 예를 들어 “매출이 10% 감소했다”는 사실만으로는 상황을 판단하기 어렵다. 하지만 AI가 다음 정보까지 동시에 이해한다면 이야기가 달라진다.
매출은 10% 감소했지만 주요 고객 수는 그대로이고, 한 제품군에서만 주문이 감소했으며, 그 기간 동안 해당 제품의 재고 부족이 반복되었다면 문제는 영업이 아니라 Supply Chain일 가능성이 있다. AI의 진정한 가치는 단순히 데이터를 보는 것이 아니라 서로 다른 데이터 사이의 관계를 찾아내는 것에서 나온다. 그래서 ERP가 다시 중요해지고 있다 AI 시대가 오면서 ERP가 사라질 것이라고 생각하는 경우도 있다.
그러나 오히려 반대일 가능성이 높다. AI가 기업 안에서 더 많은 역할을 담당할수록 정확하고 일관된 기업 데이터는 더욱 중요해진다. ERP는 기업의 핵심 거래 정보를 기록하는 시스템이다. 누가 무엇을 구매했고, 무엇을 판매했고, 얼마를 청구했으며, 얼마가 입금되었고, 재고가 어디에 얼마나 있는지를 기록한다. 즉, ERP는 오랫동안 기업의 System of Record 역할을 해왔다. 그리고 AI는 이러한 데이터를 기반으로 분석하고 판단하며 행동하는 System of Intelligence 또는 System of Action 역할을 하게 될 수 있다.
ERP와 AI는 경쟁 관계가 아니다. 오히려 AI가 기업의 실제 업무에 들어올수록 ERP와 같은 핵심 시스템의 데이터 품질과 연결성이 더 중요해진다. 문서 속 데이터도 중요하다. 기업의 중요한 데이터가 모두 ERP에 있는 것은 아니다. 실제 기업에서는 상당한 정보가 이메일, 계약서, PDF, Excel, 회의록, Proposal, 매뉴얼과 같은 비정형 문서에 존재한다.
고객과 어떤 조건으로 계약했는지, 특정 프로젝트에서 어떤 문제가 있었는지, 공급업체와 어떤 조건을 협의했는지는 ERP 데이터만으로는 알기 어렵다. 최근 기업용 AI에서 RAG, Retrieval-Augmented Generation이 주목받는 이유도 여기에 있다. RAG는 AI가 사내 문서나 데이터베이스에서 필요한 정보를 찾아 그 정보를 바탕으로 답변하도록 만드는 방식이다. 즉, AI에게 모든 회사 정보를 다시 학습시키는 것이 아니라 필요할 때 관련 정보를 찾아 읽게 만드는 것이다.
이 구조가 잘 만들어지면 직원은 수많은 파일을 직접 뒤질 필요 없이 이렇게 질문할 수 있다. “이 고객과 마지막으로 협의한 가격 조건은 무엇인가?” “이 프로젝트 계약서에서 우리 회사의 Liability Limit은 얼마인가?” “지난 3년 동안 이 고객에게 발생한 주요 이슈를 정리해 달라.” AI는 회사 내부의 여러 시스템과 문서를 검색해 답을 제공할 수 있다. 이 순간 AI는 단순한 Chatbot을 넘어 회사의 지식을 이해하는 Corporate Intelligence Layer로 발전하기 시작한다.
좋은 AI보다 좋은 데이터가 먼저다. 많은 기업이 AI 프로젝트를 시작하면서 어떤 LLM을 사용할 것인지부터 고민한다. ChatGPT를 사용할 것인지, Microsoft의 기술을 사용할 것인지, Google 또는 다른 모델을 사용할 것인지 비교한다. 물론 AI 모델의 성능은 중요하다. 하지만 기업 AI에서는 모델보다 더 중요한 문제가 있을 수 있다.
바로 Data Quality다. 고객 코드가 시스템마다 다르고, 제품 정보가 중복되어 있으며, 재고 데이터가 정확하지 않고, 오래된 파일과 최신 파일이 섞여 있다면 아무리 뛰어난 AI라도 좋은 결과를 만들기 어렵다. AI는 잘못된 데이터를 마법처럼 올바른 정보로 바꾸는 기술이 아니다.오히려 AI가 더 많은 업무와 의사결정에 사용될수록 잘못된 데이터의 영향은 더욱 커질 수 있다.
그래서 AI 시대에는 Master Data Management, Data Governance, Data Integration과 같은 다소 오래된 IT 개념들이 다시 중요해지고 있다. AI의 성능은 결국 AI 자체의 능력뿐 아니라 AI가 어떤 데이터를 보고 있는가에 의해 결정되기 때문이다. 앞으로 기업의 경쟁력은 데이터에서 갈릴 수 있다. 같은 AI 모델을 사용하는 두 회사가 있다고 생각해보자. 한 회사는 ERP, CRM, SCM 데이터가 잘 연결되어 있고 회사의 주요 문서가 체계적으로 관리되어 있다. 다른 회사는 데이터가 여러 Excel 파일과 개별 시스템에 흩어져 있으며, 고객과 제품 정보조차 일관되지 않다.
두 회사가 동일한 AI 기술을 사용한다고 해서 같은 결과를 얻을 수 있을까? 그렇지 않을 가능성이 높다.
첫 번째 회사의 AI는 회사 상황을 이해하고 실제 업무를 지원할 수 있지만, 두 번째 회사의 AI는 일반적인 조언을 제공하는 수준에 머물 가능성이 크다. 결국 AI 시대의 경쟁은 단순히 누가 더 좋은 AI를 사용하는가의 경쟁이 아닐 수 있다. 오히려 누가 자신의 기업 데이터를 더 잘 정리하고, 연결하고, AI가 사용할 수 있도록 만드는가의 경쟁이 될 가능성이 크다.
AI의 진짜 경쟁력은 회사 안에 있다. 우리는 흔히 AI 경쟁력이라고 하면 AI 모델의 크기나 성능을 떠올린다. 하지만 기업의 입장에서 보면 진정한 경쟁력은 외부의 AI 모델보다 회사 내부에 이미 존재하고 있을 수 있다. 수년간 축적된 고객 데이터, 주문 기록, 공급망 정보, 프로젝트 경험, 계약 문서 그리고 직원들이 축적한 업무 지식이다. 이러한 데이터는 경쟁사가 쉽게 복제할 수 없다. 그리고 AI가 이 데이터를 이해할 수 있게 되는 순간 그동안 단순히 저장되어 있던 데이터가 기업의 새로운 지식 자산으로 변하기 시작한다.
따라서 기업이 AI 시대를 준비하면서 가장 먼저 해야 할 질문은 “어떤 AI를 도입할 것인가?” 만이 아니다. 그보다 먼저 물어야 할 질문이 있다. “우리 회사의 데이터는 AI가 이해할 준비가 되어 있는가?” 앞으로 기업 AI의 경쟁력은 AI 자체만으로 결정되지 않을 것이다. AI가 얼마나 똑똑한지도 중요하지만, 그 AI가 우리 회사를 얼마나 잘 알고 있는가가 더 중요해질 수 있다.
AI는 세상을 알지만, 우리 회사를 모른다 범용 AI는 방대한 공개 데이터를 기반으로 학습되어 있다. 산업 구조, 회계 원칙, 공급망, 마케팅, 법률, IT 시스템과 같은 일반적인 지식에 대해서는 매우 강력하다. 하지만 AI에게 다음과 같이 물어본다고 생각해보자. “이번 분기 매출이 왜 떨어졌는가?” 이 질문에 제대로 답하려면 단순한 산업 지식만으로는 부족하다.
AI는 우리 회사의 고객별 매출을 알아야 하고, 제품별 마진을 알아야 하며, 최근 주문 감소가 특정 지역에서 발생했는지, 특정 고객에게서 발생했는지 확인해야 한다. 재고 부족이 원인이었는지, 가격 인상이 영향을 주었는지, 고객 이탈이 있었는지, 영업 활동이 줄어들었는지도 알아야 한다. 이 모든 정보는 인터넷에 존재하지 않는다. ERP, CRM, SCM, POS, Data Warehouse 그리고 각종 사내 시스템 안에 존재한다.
바로 이 지점에서 기업 데이터의 중요성이 시작된다. 기업용 AI와 일반 AI의 가장 큰 차이 일반적인 AI는 질문에 대한 ‘그럴듯한 답’을 제공할 수 있다. 하지만 기업이 원하는 것은 그보다 훨씬 구체적이다. “우리 회사에서 무슨 일이 일어나고 있는가?” “왜 이런 결과가 발생했는가?” “앞으로 어떤 문제가 생길 가능성이 있는가?” “지금 무엇을 해야 하는가?” 이 질문에 답하려면 AI가 기업의 실제 데이터를 이해해야 한다. 예를 들어 유통회사의 경영자가 이렇게 질문할 수 있다. “지난 6개월 동안 매출은 증가했는데 왜 현금은 부족한가?” 일반적인 AI라면 매출채권 증가, 재고 증가, 비용 상승 가능성을 설명할 것이다. 하지만 기업 데이터와 연결된 AI라면 이야기가 달라진다.
특정 고객의 Accounts Receivable이 늘어났고, 평균 회수 기간이 42일에서 61일로 증가했으며, 동시에 특정 제품군의 재고가 과도하게 증가했다는 사실을 찾아낼 수 있다. 그리고 더 나아가 어떤 고객에게 Collection을 강화해야 하는지, 어떤 재고의 발주를 줄여야 하는지까지 제안할 수 있다. 이것이 Generic AI와 Enterprise AI의 차이다. 기업 데이터는 AI에게 ‘Context’를 제공한다 AI에서 가장 중요한 단어 중 하나가 Context, 즉 맥락이다. 사람도 마찬가지다.
회사의 사정을 모르는 외부 전문가와 회사에서 10년 동안 일한 사람이 같은 숫자를 보더라도 해석은 다를 수 있다. 기업의 AI도 마찬가지다. 매출 데이터 하나만으로는 충분하지 않다. 고객, 제품, 가격, 재고, 공급업체, 계약 조건, 영업 기록, 비용 구조와 같은 정보가 연결되어야 제대로 된 맥락이 만들어진다. 예를 들어 “매출이 10% 감소했다”는 사실만으로는 상황을 판단하기 어렵다. 하지만 AI가 다음 정보까지 동시에 이해한다면 이야기가 달라진다.
매출은 10% 감소했지만 주요 고객 수는 그대로이고, 한 제품군에서만 주문이 감소했으며, 그 기간 동안 해당 제품의 재고 부족이 반복되었다면 문제는 영업이 아니라 Supply Chain일 가능성이 있다. AI의 진정한 가치는 단순히 데이터를 보는 것이 아니라 서로 다른 데이터 사이의 관계를 찾아내는 것에서 나온다. 그래서 ERP가 다시 중요해지고 있다 AI 시대가 오면서 ERP가 사라질 것이라고 생각하는 경우도 있다.
그러나 오히려 반대일 가능성이 높다. AI가 기업 안에서 더 많은 역할을 담당할수록 정확하고 일관된 기업 데이터는 더욱 중요해진다. ERP는 기업의 핵심 거래 정보를 기록하는 시스템이다. 누가 무엇을 구매했고, 무엇을 판매했고, 얼마를 청구했으며, 얼마가 입금되었고, 재고가 어디에 얼마나 있는지를 기록한다. 즉, ERP는 오랫동안 기업의 System of Record 역할을 해왔다. 그리고 AI는 이러한 데이터를 기반으로 분석하고 판단하며 행동하는 System of Intelligence 또는 System of Action 역할을 하게 될 수 있다.
ERP와 AI는 경쟁 관계가 아니다. 오히려 AI가 기업의 실제 업무에 들어올수록 ERP와 같은 핵심 시스템의 데이터 품질과 연결성이 더 중요해진다. 문서 속 데이터도 중요하다. 기업의 중요한 데이터가 모두 ERP에 있는 것은 아니다. 실제 기업에서는 상당한 정보가 이메일, 계약서, PDF, Excel, 회의록, Proposal, 매뉴얼과 같은 비정형 문서에 존재한다.
고객과 어떤 조건으로 계약했는지, 특정 프로젝트에서 어떤 문제가 있었는지, 공급업체와 어떤 조건을 협의했는지는 ERP 데이터만으로는 알기 어렵다. 최근 기업용 AI에서 RAG, Retrieval-Augmented Generation이 주목받는 이유도 여기에 있다. RAG는 AI가 사내 문서나 데이터베이스에서 필요한 정보를 찾아 그 정보를 바탕으로 답변하도록 만드는 방식이다. 즉, AI에게 모든 회사 정보를 다시 학습시키는 것이 아니라 필요할 때 관련 정보를 찾아 읽게 만드는 것이다.
이 구조가 잘 만들어지면 직원은 수많은 파일을 직접 뒤질 필요 없이 이렇게 질문할 수 있다. “이 고객과 마지막으로 협의한 가격 조건은 무엇인가?” “이 프로젝트 계약서에서 우리 회사의 Liability Limit은 얼마인가?” “지난 3년 동안 이 고객에게 발생한 주요 이슈를 정리해 달라.” AI는 회사 내부의 여러 시스템과 문서를 검색해 답을 제공할 수 있다. 이 순간 AI는 단순한 Chatbot을 넘어 회사의 지식을 이해하는 Corporate Intelligence Layer로 발전하기 시작한다.
좋은 AI보다 좋은 데이터가 먼저다. 많은 기업이 AI 프로젝트를 시작하면서 어떤 LLM을 사용할 것인지부터 고민한다. ChatGPT를 사용할 것인지, Microsoft의 기술을 사용할 것인지, Google 또는 다른 모델을 사용할 것인지 비교한다. 물론 AI 모델의 성능은 중요하다. 하지만 기업 AI에서는 모델보다 더 중요한 문제가 있을 수 있다.
바로 Data Quality다. 고객 코드가 시스템마다 다르고, 제품 정보가 중복되어 있으며, 재고 데이터가 정확하지 않고, 오래된 파일과 최신 파일이 섞여 있다면 아무리 뛰어난 AI라도 좋은 결과를 만들기 어렵다. AI는 잘못된 데이터를 마법처럼 올바른 정보로 바꾸는 기술이 아니다.오히려 AI가 더 많은 업무와 의사결정에 사용될수록 잘못된 데이터의 영향은 더욱 커질 수 있다.
그래서 AI 시대에는 Master Data Management, Data Governance, Data Integration과 같은 다소 오래된 IT 개념들이 다시 중요해지고 있다. AI의 성능은 결국 AI 자체의 능력뿐 아니라 AI가 어떤 데이터를 보고 있는가에 의해 결정되기 때문이다. 앞으로 기업의 경쟁력은 데이터에서 갈릴 수 있다. 같은 AI 모델을 사용하는 두 회사가 있다고 생각해보자. 한 회사는 ERP, CRM, SCM 데이터가 잘 연결되어 있고 회사의 주요 문서가 체계적으로 관리되어 있다. 다른 회사는 데이터가 여러 Excel 파일과 개별 시스템에 흩어져 있으며, 고객과 제품 정보조차 일관되지 않다.
두 회사가 동일한 AI 기술을 사용한다고 해서 같은 결과를 얻을 수 있을까? 그렇지 않을 가능성이 높다.
첫 번째 회사의 AI는 회사 상황을 이해하고 실제 업무를 지원할 수 있지만, 두 번째 회사의 AI는 일반적인 조언을 제공하는 수준에 머물 가능성이 크다. 결국 AI 시대의 경쟁은 단순히 누가 더 좋은 AI를 사용하는가의 경쟁이 아닐 수 있다. 오히려 누가 자신의 기업 데이터를 더 잘 정리하고, 연결하고, AI가 사용할 수 있도록 만드는가의 경쟁이 될 가능성이 크다.
AI의 진짜 경쟁력은 회사 안에 있다. 우리는 흔히 AI 경쟁력이라고 하면 AI 모델의 크기나 성능을 떠올린다. 하지만 기업의 입장에서 보면 진정한 경쟁력은 외부의 AI 모델보다 회사 내부에 이미 존재하고 있을 수 있다. 수년간 축적된 고객 데이터, 주문 기록, 공급망 정보, 프로젝트 경험, 계약 문서 그리고 직원들이 축적한 업무 지식이다. 이러한 데이터는 경쟁사가 쉽게 복제할 수 없다. 그리고 AI가 이 데이터를 이해할 수 있게 되는 순간 그동안 단순히 저장되어 있던 데이터가 기업의 새로운 지식 자산으로 변하기 시작한다.
따라서 기업이 AI 시대를 준비하면서 가장 먼저 해야 할 질문은 “어떤 AI를 도입할 것인가?” 만이 아니다. 그보다 먼저 물어야 할 질문이 있다. “우리 회사의 데이터는 AI가 이해할 준비가 되어 있는가?” 앞으로 기업 AI의 경쟁력은 AI 자체만으로 결정되지 않을 것이다. AI가 얼마나 똑똑한지도 중요하지만, 그 AI가 우리 회사를 얼마나 잘 알고 있는가가 더 중요해질 수 있다.
최종수정: 2026/10/22 10:35:27AM