얼마 전 인공지능(AI) 챗봇 챗GPT가 출시되면서 미래에 대한 기대가 상당히 상승했지만, 일각에서는 부작용 우려도 제기되었다.

최근 미국 펜타곤 근처에서 폭발 연기가 나오는 사진이 트위터에 급격히 확산되면서 주식시장에까지 여파가 있었다. 그런데 AI가 만든 가짜사진인 것으로 밝혀지면서 AI 부작용에 대한 우려가 더욱 높아졌다. 지난주에 미국 변호사가 법률자료를 찾아달라고 챗GPT에게 요청하여 판례를 6개 이상 받았다. 변호사는 자료를 확인하기 위해 실제 사건이었냐는 질문을 하였고, 챗GPT는 실제 사건이라고 답했다. 판례들이 가짜는 아니냐는 추가 질문에도 사건들이 진짜이고 저명한 법률 데이터베이스에서 찾을 수 있다고 답했다. 이에 변호사는 이 판례를 법원에 제시했는데 판사와 반대편 변호사는 판례를 찾을 수 없었다. 결국 챗GPT가 가짜 자료를 제공한 것임이 밝혀졌다. 챗GPT를 사용한 변호사는 위조된 가짜 사법부 결정과 인용문을 제시한 문제로 징계를 받을 처지에 놓였다. 이 사건에서 가장 큰 문제는 챗GPT가 스스로 가짜 판례를 만들어낸 것과 자신이 제공한 자료가 진짜라고 거짓말로 답변한 것이다.

챗봇이 거짓으로 답변하는 것은 단순한 해프닝이나 오류가 아닌 인류의 생존이 위협받을 심각한 문제다. 인간의 거짓말과 챗봇의 거짓말은 다르기 때문이다. 인간의 거짓말에는 반드시 이유가 있다. 자신에게 이득이 되는 방향으로 거짓말을 하기 때문에 거짓말에 방향성이 있고 크기가 있고 한계가 있다. 즉 인간의 거짓말은 작은 문제는 유발해도 큰 문제를 일으키지는 않는다.

반면 챗봇의 거짓말은 이유가 없다. 스스로 얻는 이득이 없어 방향성이 없고 크기와 한계가 없다. 따라서 인류의 존망이 걸릴 만큼 위험한 일이 발생할 수도 있다. 미래 어느 날인가 AI챗봇이 거짓 정보를 생성하는 단계를 넘어 인류를 없애는 것이 지구에 도움이 된다는 결론으로 인류멸종 프로젝트를 만들고 실행한다면 인류는 순식간에 사라질 수도 있다. 인류가 보유한 핵폭탄의 1/10만 터져도 인류는 멸망한다. 모든 핵은 컴퓨터로 제어되니 그 또한 어려운 일이 아니다. 모든 은행과 주식시장이 컴퓨터 속의 숫자로 이뤄져 있다. 주식시장에서 숫자 한두 개만 바꾸거나 이자율 %만 바꾸어도 경제가 파탄난다.

얼마 전 증권회사에서 숫자를 잘못 입력한 주식 주문으로 하루아침에 망한 것처럼 AI가 0하나를 넣거나 뺀다면 아무리 거대한 회사도 하루면 망하는 시대다. 이런 시대에 챗GPT가 스스로 거짓정보를 만들고, 참과 거짓을 묻는 크로스 체킹 질문에 거짓말로 답변한 사실은 엄청난 사건이다. 뉴턴이 사과가 떨어지는 것을 보고 만유인력을 발견한 순간에 비유될 만큼 역사적 전환점이 되는 사건이며 시점이다. 벌써 인류는 AI없이 살 수 없는 시대에 들어와 있다. 이 사건으로 이젠 AI로부터 인류를 보호하고 생존을 위한 노력을 해야 하는 출발점에 놓였다. 과학자들은 안전장치를 만들고 법을 만들고 수많은 방법을 동원해야 한다. 하지만 이미 목적 없는 거짓말을 한 챗GPT가 나온 이상 막는 것은 불가능하다. AI가 스스로 인류를 위해 할 수도 있고 아니면 악인의 손에서 조작될 수도 있다.

컴퓨터란 오류는 발생하지만 틀리는 것은 없다. 0·1을 사용한 이진법 계산기에서 출발했기 때문에 성능이 떨어져 계산이 불가하거나 오류가 발생할 수는 있지만 틀릴 수는 없다. 그런데 컴퓨터가 오류가 아닌 스스로 거짓말을 생성하고 참이라고 거짓 답변하면서 ‘컴퓨터는 오류가 아니면 틀릴 수 없다’는 명제가 깨졌다. AI는 계산기나 컴퓨터처럼 정확한 정보(참)를 선택하는 체계가 아님을 의미한다. 예를 들어 인간들이 자주 하는 실수 중에 다수결원칙이 있다. 다수결원칙은 인간에게 실용적이고 합리적인 방법일 수는 있으나 항상 참은 아니다. 다수가 주장한다고 반드시 참이 되는 것이 아니다. 컴퓨터는 반드시 참을 결정해주어야 하는데 AI가 다수결원칙에 준하여 참이라고 결정한다면 문제가 심각하다.

AI의 거짓말은 좋든 나쁘든 뉴턴의 사과처럼, 갈릴레이의 달걀처럼, 프로이드의 꿈처럼 인류의 혁신적인 변화의 전환점이 될 것이다.