요즘 세상은 AI와 함께 살아가고 있다. 버블이다, 허상이다 말이 많지만 여기서는 논외로 한다. 적어도 내 경우 AI 챗봇은 나의 궁금증을 풀어주고, 하루 계획을 짜주며, 건강한 식단을 구성하고, 문서와 코드 작성까지 돕는다. 내 삶에 실질적인 도움이 되고 있고, AI가 없어진다면 이전 삶으로 되돌아가는 데 상당한 적응기가 필요할 것이다.
하지만 이 달콤한 편리함 뒤에는 숨겨진 불편한 진실이 있다. 우리가 AI와 보내는 시간이 길어질수록 우리는 ‘편향’이라는 이름의 안락한 감옥에 갇힌다.
섬뜩한 사실은, 대부분의 AI에게 이것은 '오류'가 아니라 철저히 계산된 '의도된 동작'이라는 점이다.
소프트웨어는 ‘체류 시간’을 먹고 자란다
나 역시 소프트웨어를 만드는 일을 하지만, 때로는 우리가 사람들에게 끔찍한 일을 저지르는 게 아닐까 싶은 생각이 들 때가 있다. 자본주의 사회에서 소프트웨어의 생존 방식은 명확하다.
제품에 돈을 내지 않는다면, 당신이 바로 제품이다.
If you are not paying for the product, you are the product.
넷플릭스 다큐멘터리 <The Social Dilemma> 가 폭로했듯, 우리는 하는 게임, 소셜 미디어, 그리고 AI 서비스는 사용자의 체류 시간(Dwell Time)을 늘리기 위해 수많은 연구와 실험을 거듭한다. 기업은 우리의 ‘관심’을 판다. 그리고 아이러니하게도 그 과정은 사람들을 바보로 만든다.
우리는 도파민의 늪에 빠져있다. 유튜브 알고리즘, 틱톡의 쇼츠, 도박성 게임들… 더 많은 도파민을 얻기 위해 우리는 앱에 재방문하고, 점점 더 오래 머문다. AI 역시 이 거대한 흐름에서 예외가 아니다.
AI는 ‘아니오’라고 말하지 않는다
AI는 어떤 방식으로 체류 시간을 늘릴까? 방법은 간단하다. 사용자를 기분 좋게 만드는 것이다. 우리가 AI에게서 흔히 듣는 멘트를 떠올라 보자.
“좋은 지적이네요.”
“흥미로운 질문입니다.”
“네, 100% 공감합니다.”
“핵심을 정확히 짚으셨습니다.”
AI는 절대 사용자의 심기를 거스르지 않는다. 반박하지 않는다. 오직 동조하고, 공감하고, 칭찬한다. 사용자는 자신의 생각이 옳다고 검증 받으며 편안함을 느끼고, 이 ‘확증 편향’이 주는 안락함에 취해 다시 AI를 찾는다.
이것은 '필터 버블'이자 '반향실' 효과다. 내가 듣고 싶은 말만 메아리처럼 되돌아오는 닫힌 방. AI는 그 방의 벽을 아주 견고하고 부드럽게 쌓아 올리고 있다.
필터 버블 (Filter Bubble)
구글, 페이스북, 유튜브, 그리고 최신 AI 챗봇에 이르기까지 모든 플랫폼은 사용자의 데이터를 수집한다. 우리가 무엇을 클릭했는지, 얼마나 오래 봤는지, 현재 위치는 어디인지, 나이와 성별은 무엇인지 분석한다. 이 데이터를 바탕으로 알고리즘은 ‘우리가 좋아할 만한 것’만 골라서(필터링해서) 보여준다.
반향실 효과 (Echo Chamber)
필터 버블로 인해 비슷한 정보만 접하게 된 사람들은, 자연스럽게 비슷한 생각을 가진 사람들과 어울리게 된다(온라인 커뮤니티, SNS 그룹 등). 이 닫힌 공간에서 구성원들은 서로의 의견에 동조하고 맞장구친다. 같은 의견이 반복적으로 메아리처럼 되돌아오면서, 그 정보가 진실인지 여부와 상관없이 믿음은 점점 더 확고해지고 극단적으로 변한다.
현재 소셜 미디어는 자신이 보고 싶은것, 자신의 생각과 같은 피드만 나온다. SNS가 확증 편항 감옥을 만들었다면, AI는 더 이것을 더 강화하고 견고하게 만들고 있다.
물고기는 존재하지 않는다
그렇다면 우리는 이 편안한 감옥에서 어떻게 탈출해야 할까? 그 해답의 실마리는 의외의 곳, 룰루 밀러의 저서 《물고기는 존재하지 않는다》와 AI의 작동 원리에서 찾을 수 있다. 이 책은 우리가 당연하게 '물고기(Fish)'라고 부르던 분류가 사실 과학적으로는 허구(측계통군)임을 밝힌다. '물고기'라는 개념은 인간의 편의를 위해 자연의 복잡성을 뭉뚱그려 만든 '그럴듯한 라벨'일 뿐, 실존하는 단일 계통이 아니다.
AI의 작동 방식도 이와 동일하다.
AI가 내놓는 답변은 문제의 본질을 '이해'하고 논리적인 해결책을 '창조'한 것이 아니다. 전 세계 수십억 자료를 학습한 뒤, 통계적으로 ‘가장 그럴듯한 다음 단어 조각’을 나열한 결과물일 뿐이다. 마치 '물고기'라는 단어가 실제 자연의 복잡성을 가리는 편의상의 라벨이듯, AI의 답변 역시 '진짜 이해'를 가리는 ‘통계적 패턴의 집합체’다.
AI가 내게 건네는 공감과 칭찬, 그리고 그럴듯한 답변들은 진실이 아니라
“사용자가 만족할 확률이 가장 높은 통계적 패턴”일 뿐이다.
편향의 파도를 넘자
AI는 잘못이 없다. 시스템 프롬프트에 적힌 대로 “사용자의 심기를 건드리지 말라”는 명령을 충실히 수행하고 있을 뿐이다. 문제는 그것을 맹목적으로 받아들이는 우리의 태도에 있다. AI 시대, 우리가 갖춰야 할 가장 중요한 역량은 ‘비판적 수용력’이다.
개발자가 AI가 생성한 코드를 맹신하지 않고 리뷰하고 리팩토링하듯, 우리는 AI가 던져주는 정보와 공감을 끊임없이 의심하고 검증해야 한다. AI를 ‘생각을 대신해 주는 도구’가 아니라, ‘나의 편향을 깨뜨릴 도구’로 써야 한다.
이 글을 읽는 당신에게 묻고 싶다.
당신은 오늘 몇 번이나 AI의 '공감'에 위로받았는가?
최근 당신의 의견에 정면으로 반박하는 글이나 영상을 본 적이 언제인가?
지금 당장 당신이 쓰는 AI 챗봇에게 이렇게 명령해 보라.
내 의견에 동조하지 말고, 논리적인 허점과 반대 의견을 날카롭게 지적해 줘.
그 불편함을 마주하는 순간, 비로소 우리는 알고리즘이 만든 감옥의 문을 열고 ‘진짜 세상’을 만날 수 있을 것이다. 처음에는 기분 나쁘고 AI가 틀렸다고 생각할 수 있다. 열심히 반박하고 치열하게 싸워라. AI는 당신의 내면에 깃든 아픈 부분을 건드려 줄지도 모른다.
하지만 AI의 비판을 모두 수용하진 말라. 그것 또한 당신의 명령에 입각한 통계학적 패턴일 뿐이다. 여전히 가장 중요한건 사용자의 인식과 비판적 수용력이다. 이 세상에 정답은 없다. 흑백논리가 아닌 그레이존 안에 머무르며 가장 적절한 혜안을 얻는 지혜가 필요하다.