AI 시대, 사람의 가치는 어디에 있는가

- AI는 왜 틀린 답을 자신 있게 말할까?

AI에게 질문을 던져보면 놀랄 때가 많다. 몇 초 만에 보고서를 작성하고, 복잡한 내용을 요약하며, 영어 이메일을 만들고, 여행 계획이나 사업 아이디어까지 제시한다.

그런데 AI를 조금 오래 사용하다 보면 또 다른 경험을 하게 된다.

분명히 그럴듯하게 설명했는데 사실과 다르거나, 존재하지 않는 자료를 있는 것처럼 이야기하기도 한다. 더 당황스러운 점은 틀린 답을 하면서도 별로 주저하지 않는다는 것이다.

사람들은 이럴 때 흔히 묻는다.

“AI가 이렇게 똑똑한데 왜 이런 기본적인 실수를 할까?”

이 질문에 답하려면 AI를 인간처럼 생각하는 것부터 조금 바꿀 필요가 있다.

AI는 ‘사실’을 아는 것이 아니라 ‘가능성이 높은 답’을 만든다

생성형 AI를 이해하는 가장 중요한 상식 중 하나는 이것이다.

AI는 기본적으로 정답을 찾는 기계가 아니라, 가장 그럴듯한 다음 말을 예측하는 시스템이다.

물론 오늘날 AI의 능력은 단순한 문장 자동완성이라고 부르기에는 훨씬 복잡하고 정교하다. 방대한 데이터를 학습하면서 언어, 개념, 관계와 패턴을 상당한 수준까지 이해한다.

그러나 기본적인 작동 원리를 생각해보면 AI가 왜 때때로 틀리는지 이해하기 쉬워진다.

예를 들어 우리가 이런 문장을 본다고 해보자.

“대한민국의 수도는…”

대부분의 사람은 자연스럽게 “서울”을 떠올릴 것이다.

AI 역시 학습한 수많은 데이터와 문맥을 바탕으로 그 뒤에 나올 가능성이 가장 높은 말을 판단한다.

문제가 어려워져도 기본 원리는 크게 다르지 않다.

AI는 질문을 받으면 자신이 학습한 정보와 문맥을 종합해 가장 적절할 가능성이 높은 답을 생성한다.

그렇기 때문에 AI가 말하는 문장이 매우 자연스럽다고 해서 반드시 사실이라는 보장은 없다.

문장의 자연스러움과 사실의 정확성은 서로 다른 문제다.

이 점을 이해하는 것만으로도 AI를 사용하는 방식이 크게 달라진다.

AI의 가장 위험한 순간은 ‘모를 때’가 아니라 ‘그럴듯하게 틀릴 때’다

사람이 모르는 질문을 받으면 흔히 이렇게 말한다.

“잘 모르겠습니다.”

하지만 AI는 구조적으로 답을 만들어내도록 설계되어 있기 때문에 때때로 정보가 부족한 상황에서도 가능한 답을 구성하려고 한다.

이 과정에서 실제로 존재하지 않는 사건, 숫자, 연구자료, 판례 또는 출처 등을 만들어내는 현상이 발생할 수 있다.

이를 흔히 AI Hallucination, 즉 AI의 환각 현상이라고 부른다.

하지만 ‘환각’이라는 표현 때문에 AI가 어떤 착각이나 정신적 오류를 경험한다고 이해해서는 안 된다.

AI 입장에서는 거짓말을 하는 것도 아니다.

그저 주어진 질문에 대해 통계적으로 그럴듯한 답을 생성했지만 그 결과가 실제 사실과 일치하지 않은 것에 가깝다.

이 차이는 중요하다.

사람이 거짓말을 할 때는 사실을 알면서 다른 말을 한다.

AI는 때때로 사실인지 아닌지를 충분히 구분하지 못한 상태에서도 답을 만들어낼 수 있다.

따라서 AI가 자신감 있게 말한다고 해서 그 답의 신뢰도가 높은 것은 아니다.

우리는 오랫동안 사람의 말투에서 신뢰도를 판단해 왔다.

“확실합니다.”

“틀림없습니다.”

이런 표현을 하는 사람은 최소한 자신의 판단에 확신을 가지고 있다고 생각한다.

하지만 AI에게는 이런 사회적 직관이 그대로 적용되지 않는다.

AI의 자신감 있는 문체와 실제 정확성 사이에는 반드시 비례관계가 있는 것은 아니다.

이것은 AI 시대에 우리가 새롭게 익혀야 하는 중요한 상식이다.

그렇다면 AI의 답을 믿으면 안 되는가

그렇지는 않다.

AI의 오류 가능성이 있다고 해서 AI가 쓸모없는 것은 아니다.

계산기가 있다고 해서 모든 숫자를 아무 생각 없이 믿지 않는 것과 비슷하다. 스프레드시트도 수식을 잘못 입력하면 틀린 결과를 내놓는다.

중요한 것은 도구의 특성을 이해하고 적절하게 사용하는 것이다.

AI가 특히 강한 영역이 있다.

긴 글을 요약하거나, 여러 아이디어를 정리하거나, 초안을 만들거나, 서로 다른 관점을 비교하거나, 복잡한 내용을 쉽게 설명하는 일이다.

반대로 정확성이 절대적으로 중요한 영역에서는 확인 과정이 필요하다.

계약 조건, 세금, 의료정보, 법률판단, 투자 결정, 중요한 숫자나 날짜 등이 대표적이다.

저는 AI 활용을 다음과 같이 생각하면 이해하기 쉽다고 본다.

AI는 매우 뛰어난 첫 번째 검토자일 수 있지만, 항상 마지막 의사결정자가 되어서는 안 된다.

AI에게 초안을 맡기고, 분석을 요청하고, 놓친 부분을 찾게 하는 것은 매우 효과적이다.

그러나 중요한 결정은 결국 사람이 사실을 확인하고 책임져야 한다.

AI 시대에는 ‘답을 얻는 능력’보다 ‘검증하는 능력’이 중요해진다

인터넷 이전에는 정보를 찾는 것이 어려웠다.

인터넷이 등장한 이후에는 정보가 너무 많아져 필요한 정보를 찾는 것이 중요해졌다.

그리고 AI 시대에는 또 하나의 변화가 일어나고 있다.

이제는 질문만 하면 AI가 답을 만들어준다.

따라서 앞으로 더 중요한 능력은 단순히 정보를 찾는 능력이 아닐 수 있다.

그 답이 맞는지를 판단하는 검증 능력이 더욱 중요해진다.

예를 들어 AI가 시장 규모가 20억 달러라고 말한다면 다음 질문을 할 수 있어야 한다.

“그 숫자의 출처는 무엇인가?”

“어느 연도의 자료인가?”

“어떤 기준으로 시장을 정의했는가?”

“다른 자료와 비교하면 어떤가?”

AI 시대에는 이런 질문을 할 수 있는 사람이 그렇지 않은 사람보다 훨씬 유리하다.

그래서 역설적으로 AI가 발전할수록 인간의 상식과 전문성이 덜 중요해지는 것이 아니라 오히려 더 중요해질 가능성이 높다.

AI는 수많은 답을 빠르게 만들 수 있다.

하지만 어떤 답이 현실에 맞는지 판단하는 것은 다른 종류의 능력이다.

좋은 질문보다 더 중요한 것은 ‘문제를 정의하는 것’이다

AI 활용법에 관한 많은 책이나 강의에서는 “프롬프트를 잘 작성해야 한다”고 이야기한다.

물론 질문을 구체적으로 하는 것은 중요하다.

하지만 저는 그것보다 한 단계 앞선 능력이 더 중요하다고 생각한다.

무엇을 질문해야 하는지를 결정하는 능력이다.

예를 들어 한 회사의 매출이 줄고 있다고 해보자.

AI에게 이렇게 물을 수 있다.

“매출을 늘릴 방법을 알려줘.”

AI는 광고, 가격정책, 신규고객 확보 등 여러 방안을 제시할 것이다.

하지만 실제 문제는 매출이 아닐 수도 있다.

고객 이탈이 문제일 수도 있고, 제품 경쟁력이 떨어진 것일 수도 있으며, 영업조직의 문제일 수도 있다.

문제를 잘못 정의하면 AI는 잘못 정의된 문제를 매우 효율적으로 해결할 수도 있다.

이것이 AI 시대의 또 다른 역설이다.

AI가 강력해질수록 인간은 더 좋은 답을 만드는 사람이 아니라 더 좋은 문제를 정의하는 사람이 되어야 한다.

인간의 역할은 줄어드는 것이 아니라 달라진다

과거에는 일을 잘한다는 것이 많은 것을 알고, 빠르게 계산하고, 정확하게 문서를 만드는 능력을 의미하는 경우가 많았다.

AI는 이미 이런 영역에서 인간의 능력을 상당 부분 보완하고 있다.

앞으로는 인간의 역할이 조금 달라질 것이다.

AI가 정보를 수집하고 정리하고 분석한다면 인간은 그 결과를 바탕으로 판단해야 한다.

AI가 여러 선택지를 제안한다면 인간은 그중 무엇을 선택할 것인지 결정해야 한다.

AI가 해결책을 만든다면 인간은 애초에 어떤 문제를 해결해야 하는지를 정의해야 한다.

이를 저는 두 가지로 구분하고 싶다.

AI는 해결과 최적화에 강하다.
Human Insight, 즉 인간의 통찰은 문제를 발견하고 정의하는 데 강하다.

AI가 아무리 발전해도 기업의 목표를 스스로 정할 수는 없다.

우리가 어떤 회사를 만들고 싶은지, 어떤 고객에게 어떤 가치를 제공할 것인지, 어떤 선택이 옳은지를 결정하는 것은 결국 인간의 몫이다.

AI 시대에 필요한 새로운 상식

AI를 과도하게 두려워할 필요도 없고, 반대로 지나치게 믿을 필요도 없다.

AI는 모든 것을 아는 존재가 아니다.

그렇다고 단순한 검색엔진도 아니다.

우리가 지금 만나고 있는 것은 인류가 만들어낸 매우 강력한 새로운 지적 도구다.

따라서 중요한 것은 AI에게 모든 판단을 맡기는 것이 아니라 AI가 무엇을 잘하고 무엇을 잘못할 수 있는지를 이해하는 것이다.

AI가 제시한 답을 보고 다시 질문하고, 사실을 확인하고, 현실과 비교하고, 최종적으로 판단하는 능력.

어쩌면 이것이 AI 시대에 우리가 갖춰야 할 가장 기본적인 능력일지도 모른다.

AI가 만들어내는 답은 앞으로 계속 좋아질 것이다.

하지만 그 답을 믿어야 할지, 의심해야 할지, 그리고 무엇에 사용할지를 결정하는 것은 여전히 사람이다.

AI 시대에 인간의 경쟁력은 모든 답을 알고 있는 데 있지 않다.

어떤 질문을 해야 하는지 알고, 어떤 답을 믿어야 하는지를 판단하는 것.

바로 그 지점에서 인간의 가치는 다시 시작된다.