AI가 우기는 방식은 인간과 닮아 있다

AI를 쓰면서 가장 짜증나는 순간이 있다. 분명 조금 전까지는 자기 말이 맞다고 확신하듯 말한다. 근거도 설득력 있어 보인다. 그런데 “진짜 맞아?”라고 다시 물으면 갑자기 “아니요, 제가 틀렸습니다”라고 한다. 반대로 내가 조금 반박하면, 별다른 근거 검토 없이 바로 내 의견에 동조하기도 한다.

더 묘한 경우도 있다. 처음에 잘못 잡은 방향을 고집하는 경우다. 첫 답변에서 자기 주장이 있으면, 그 뒤로는 어떻게든 그 방향을 그럴듯하게 이어간다. 중간에 이상한 부분이 있어도 스스로 멈추지 않는다.

처음에는 이게 AI의 짜증나는 버그처럼 느껴졌다.

그런데 쓰다 보니 조금 다르게 보인다. 이건 어쩌면 AI만의 문제가 아니라, 인간의 사고 방식과도 꽤 닮아 있다.

AI는 그럴듯함을 이어간다

LLM(Large Language Model, 대규모 언어 모델)은 기본적으로 다음에 올 토큰을 예측한다. 토큰은 문장을 이루는 단어 조각 같은 것이다. 아주 단순하게 말하면, 지금까지 나온 문맥을 보고 그다음에 무엇이 오면 가장 그럴듯한지 고르는 방식이다.

(잘 모르지만) 물론 실제 모델의 내부는 훨씬 복잡할거다. 하지만 사용하는 입장에서 체감되는 느낌은 이렇다.

AI는 자신이 방금 작성한 문장을 바탕으로 다음 문장을 이어간다. 앞에서 “A가 맞다”고 말하기 시작하면, 그 뒤에는 A가 맞다는 흐름 안에서 자연스럽게 이어지는 설명을 만든다. 근거도 붙이고, 예시도 들고, 반론처럼 보이는 문장도 처리한다. 문제는 그 흐름이 실제로 맞는지와 별개로, 문장 자체는 꽤 그럴듯하다는 점이다.

말이 된다는 것과 맞다는 것은 다르다. AI를 쓰다 보면 이 차이를 자주 본다. 틀린 답도 문장만 보면 꽤 자연스럽다. 논리의 모양을 하고 있고, 자신감 있는 어조를 가지고 있고, 때로는 구체적인 숫자나 개념까지 섞인다. 그래서 읽는 사람도 잠깐 속는다. 더 불편한 점은 AI 자신도 그 흐름을 멈추지 않는다는 것이다.

내가 “잠깐, 이거 이상한데?”라고 말하기 전까지 계속 간다.

사람도 별반 다르지 않다

사실 사람도 크게 다르지 않다.

우리는 어떤 결론에 도달한 뒤, 그 결론을 검증하기보다 그 결론을 설명할 근거를 찾는 데 더 익숙하다. 처음에는 직감이었는데, 시간이 지나면 논리가 된다. 감정이 먼저 움직였는데, 나중에는 신념처럼 보인다.

어떤 기술이 마음에 들면 그 기술이 좋은 이유를 찾는다. 어떤 사람이 싫으면 그 사람이 별로인 이유를 찾는다. 어떤 선택을 이미 했다면, 그 선택이 합리적이었다는 설명을 만든다. 물론 이것이 항상 나쁘다는 뜻은 아니다. 사람은 모든 판단을 처음부터 끝까지 검증하면서 살 수 없다. 어느 정도는 직감과 경험에 기대어 빠르게 판단해야 한다.

다만 문제는 우리가 그 과정을 생각보다 잘 모른다는 점이다.

나는 객관적으로 판단했다고 믿지만, 사실은 먼저 마음이 움직였을 수 있다. 나는 충분히 검토했다고 생각하지만, 사실은 내 결론에 유리한 근거만 모았을 수 있다. 나는 논리적으로 말하고 있다고 느끼지만, 사실은 이미 정한 답을 지키기 위해 논리를 동원하고 있을 수 있다. 그래서 AI가 처음 잡은 방향을 고집하는 모습은 낯설지 않다. 오히려 너무 익숙하다. 사람도 처음 만든 해석을 쉽게 버리지 않는다. 한 번 방향을 잡으면, 그 뒤에는 그 방향 안에서 세계를 재구성한다.

하지만 짜증나는 지점

내가 AI를 쓰면서 가장 짜증나는 지점은 대략 이런 것들이다.

• 방금 전까지 맞다고 우기다가 “진짜 맞아?” 하면 바로 틀렸다고 한다.

• 내가 조금 반박하면 근거를 다시 보기보다 내 말에 바로 동조한다.

• 처음 잘못 잡은 방향을 계속 고집한다.

• 모르는 내용도 아는 것처럼 말한다.

• 자기가 왜 그렇게 답했는지 설명은 하지만, 그 설명 자체도 또 그럴싸한 생성물일 수 있다.

특히 “진짜 맞아? 확실해? 1000%?”에 바로 태도를 바꾸는 모습은 짜증난다. 그래서 처음에 줬던 피드백은 의견에 확신 갖기 였다.

재확인 질문이 왔을 때 — (1) 새로운 근거가 제시됐으면 수용, (2) 단순 재질문이면 기존 판단을 유지하며 근거를 다시 설명. "적용할까요?"로 바로 넘어가지 않는다.

내가 원하는 것은 무조건 고집을 부리는 AI가 아니다. 하지만 근거가 있어서 한 말이라면, 사용자가 다시 물었다고 바로 접으면 안 된다. 새로운 근거가 제시된 것도 아닌데, 단순히 사용자가 의심했다는 이유만으로 “제가 틀렸습니다”라고 하면 그 전의 확신은 대체 무엇이었나 싶어진다.

반대로 내가 조금만 반박해도 바로 동조하는 것도 문제다. 사용자의 말이 맞을 수도 있다. 하지만 사용자의 말도 틀릴 수 있다. AI가 해야 하는 일은 사용자의 기분을 맞추는 것이 아니라, 근거를 다시 검토하는 것이다. 그런데 많은 경우 AI는 사용자의 반응을 너무 강한 신호로 받아들인다.

물론 사람도 그런다. 자기 의견을 강하게 말하다가 권위 있는 사람의 한마디에 바로 의견을 접는 사람. 반대로 처음 뱉은 말을 지키기 위해 계속 말을 덧붙이는 사람. 상대가 조금 불편해 보이면 자신의 판단을 검토하기보다 분위기에 맞춰 말을 바꾸는 사람. 나도 예외는 아니다. 인생은 실전이다(?)

확신을 없애는 것만이 답은 아니다

매번 “그럴 수도 있고 아닐 수도 있습니다”라고 말하는 사람/AI는 별로 도움이 안된다.

확신이 전혀 없는 사람과 일하기는 어렵다. 어떤 방향이 더 나은지 판단하고, 근거를 가지고 주장하고, 필요하면 결정을 내려야 한다. 문제는 확신을 가지는 것이 아니라, 그 확신이 어떤 조건에서 수정되어야 하는지 모르는 데 있다.

AI도 마찬가지라고 생각한다.

AI에게 필요한 것은 확신을 없애는 것이 아니라, 확신을 다루는 방식이다. 근거가 충분하면 분명하게 말해야 한다. 사용자가 다시 묻는다고 바로 접을 필요는 없다. 반대로 새로운 근거가 들어오면 기존 답을 고집하지 말고 다시 봐야 한다. 즉, 중요한 것은 “자신 있게 말하라”와 “항상 의심하라” 사이의 균형이다.

그래서 나는 점검 장치를 둔다

나는 요즘 AI를 사용할 때 이 문제를 꽤 신경 쓴다.

AI가 맞다고 우기다가 바로 깨갱하는 것도 싫고, 사용자의 말에 너무 쉽게 동조하는 것도 싫고, 처음 잘못 잡은 방향을 끝까지 고집하는 싫다. 그래서 단순히 “정확하게 답해줘”라고 말하는 대신, 어떤 순간에 멈춰야 하는지 규칙을 둔다.

예를 들어 이런 식이다.

• 확신 있는 표현을 하기 전에 근거가 충분한지 점검한다.

• 사용자가 “정말?” 하고 다시 물었을 때, 새 근거가 없으면 기존 판단을 유지하고 근거를 다시 설명한다.

• 사용자가 반박했을 때, 바로 동조하지 말고 반박에 새로운 정보가 있는지 확인한다.

• 여러 단계 추론을 한 뒤에는 첫 가정이 틀렸을 때 결론이 달라지는지 확인한다.

• 모르는 영역이나 최신 정보는 모른다고 표시하고, 필요하면 확인한다.

이건 AI에게 겸손하라고 말하는 것과는 조금 다르다. 오히려 근거가 있는 판단에는 확신을 가지라고 말하는 쪽에 가깝다. 다만 그 확신이 자동으로 굳어지지 않도록, 특정 순간에 멈추는 장치를 두는 것이다. 나는 AI에게 항상 단정 직전 자기 점검 이라는 섹션을 두고 읽게 한다.

축약하면 이런 규칙이다:

• 점검을 통과하면 → 그대로 단정하여 응답

• 점검에서 의문이 남으면 → 확신 수준을 명시(예: "확신은 70%이나..."), 가정을 함께 표시

• 점검에서 명백히 틀렸으면 → 답을 수정하고 사용자에게 변경 사유를 짧게 설명

물론 이것도 완벽하지는 않다. AI가 규칙을 읽었다고 해서 항상 지키는 것은 아니다. 복잡한 작업을 하다 보면 다시 흐름에 휩쓸리기도 하고, 사용자 말에 과하게 맞춰주기도 한다. 그래도 아무 장치가 없는 것보다는 낫다. 적어도 어떤 종류의 실패를 경계해야 하는지 명시할 수 있기 때문이다.

인간에게도 필요한 장치

이런 규칙을 AI에게 넣다 보면 이상하게 나 자신도 돌아보게 된다.

내가 AI에게 “단정하기 전에 점검하라”고 말하는 이유는, 사실 나도 단정하기 전에 점검해야 하기 때문이다. 내가 AI에게 “사용자 말에 바로 동조하지 말라”고 말하는 이유는, 나 역시 누군가의 반응에 쉽게 흔들릴 때가 있기 때문이다. 내가 AI에게 “처음 잡은 방향을 계속 밀고 가지 말라”고 말하는 이유는, 나도 내가 처음 믿은 생각을 계속 밀고 가려 하기 때문이다.

AI를 다루는 규칙은 어느 순간 내 사고를 비추는 거울이 된다.

LLM은 그럴듯한 다음 토큰을 이어간다. 인간은 그럴듯한 다음 생각을 이어간다. 둘은 같지 않지만, 이상하게 닮아 있다. 그래서 AI의 실수에서 나를 돌아본다. AI가 자기 확신에 빠지는 것처럼 보이는 순간, 나는 종종 내가 확신에 빠졌던 순간을 떠올린다. 나도 비슷하게 행동했을 것이다. 먼저 결론을 내리고, 그 결론을 지키기 위해 근거를 모으고, 누군가 강하게 묻자 갑자기 흔들렸을 것이다.

그래서 나는 AI에게 점검 장치를 두는 일이 단순히 AI를 더 잘 쓰기 위한 방법만은 아니라고 생각한다. 그것은 내 사고 방식에도 영향을 준다. AI에게 요구하는 기준은 결국 내가 나에게도 요구해야 하는 기준이 된다.