AI 가 틀릴 때, 문답으로 잡는 법

AI 는 모를 때 모른다고 하지 않습니다. 그럴듯하게 말합니다. 문답법으로 배운다는 글을 쓸 때마다 같은 반론이 옵니다. 틀린 것을 배우면 어떡하느냐. 맞는 걱정입니다. 그리고 그것이 문답법이 더 필요한 이유입니다. 틀린 답은 질문 몇 개를 못 견딥니다.

이 글은 두 부분입니다. 대화 안에서 틀린 답을 드러내는 질문 넷, 그리고 저희 회사가 AI 에게 일을 시키다 실제로 잡은 것 셋입니다.

틀린 답이 못 견디는 질문 넷

첫째, 근거가 무엇입니까. 맞는 답은 근거를 대고, 틀린 답은 근거를 지어냅니다. 지어낸 근거는 한 번 더 물으면 무너집니다. 그 문서의 어느 절입니까. 그 값은 어디서 왔습니까.

둘째, 반대로 주장하는 사람은 뭐라고 합니까. 한쪽 답만 있는 문제는 드뭅니다. 반대 주장을 시켜 보면 첫 답이 얼마나 단단한지 보입니다. 반대 주장이 더 설득력 있으면 첫 답을 의심합니다.

셋째, 아까는 다르게 말했습니다. 일곱 가지 질문의 넷째와 같습니다. 대화가 길어지면 AI 는 앞뒤가 어긋납니다. 어긋난 자리를 짚으면 둘 중 하나가 틀렸다는 것이 드러납니다.

넷째, 이것을 제가 어떻게 확인할 수 있습니까. 가장 중요한 질문입니다. 확인 방법이 있는 답은 확인하면 되고, 확인 방법을 못 대는 답은 그 자체가 신호입니다.

실제로 잡은 것 셋

저희 회사는 AI 에이전트 여럿에게 일을 시키고, 그 기록을 전부 남깁니다. 아래 셋은 그 기록에 있는 것입니다.

첫째, 없는 권한 이름을 지어냈습니다. 서비스에 기능을 붙이려면 권한이 필요했는데, AI 가 권한 이름을 하나 댔습니다. 그럴듯했습니다. 그런데 관리 화면에 그 이름이 없었습니다. 되물으니 이름이 비슷한 다른 권한 둘이 나왔고, 필요한 것은 그중 하나였습니다. 근거가 무엇이냐고 먼저 물었으면 관리 화면을 보기 전에 잡혔을 일입니다. 잡은 것은 "이것을 어떻게 확인합니까" 였습니다. 화면에 없다는 것이 확인이었습니다.

둘째, 재지 않고 말했습니다. 회사 이름에 어떤 말을 붙이면 다른 업종으로 읽힌다고 AI 가 말했습니다. 그럴듯했고, 저도 그렇게 생각했습니다. 그런데 반대 주장을 시켜 보니 그 말이 붙은 회사 이름을 세어 보자는 답이 나왔고, 세어 보니 그 말이 붙은 회사 백 곳 넘게가 전부 같은 업종이었습니다. 처음 답은 인상이었고 기록은 반대였습니다. 잡은 것은 "반대로 주장하면" 이었습니다.

셋째, 잘못 재고 죽었다고 했습니다. 방문 통계가 수집되는지 확인하라고 했더니 AI 가 명령 한 줄로 재고 "수집이 끊겼다" 고 했습니다. 실제로는 그 서비스가 진짜 브라우저에게만 통계 조각을 넣어 주는 것이라, 명령줄로 재면 늘 0 이 나옵니다. 통계는 그동안 계속 쌓이고 있었습니다. 잡은 것은 "아까는 다르게 말했다" 였습니다. 며칠 전에는 수집이 된다고 했고 지금은 안 된다고 하니 둘 중 무엇이 바뀌었느냐고 물었고, 바뀐 것은 재는 방법이었습니다.

셋의 공통점이 있습니다. 답이 틀린 것이 아니라 답이 나온 방법이 틀렸습니다. 지어냈거나, 재지 않았거나, 좁게 쟀습니다. 질문 넷은 전부 그 방법을 묻는 질문입니다.

확인은 밖에서 합니다

대화 안에서 잡는 것과 밖에서 재는 것은 다릅니다. 질문 넷은 의심을 만드는 도구이지 확인하는 도구가 아닙니다. 확인은 원문 조문, 공식 문서, 실제 실행, 관리 화면에서 합니다.

그래서 저희는 규칙 하나를 두고 있습니다. AI 가 "됩니다" 라고 하면 그것은 주장이고, 실제로 열어 보거나 돌려 본 것만 결과로 칩니다. 위 셋 다 이 규칙에서 잡혔습니다.

그래도 문답법을 쓰는 이유

틀릴 수 있는 상대와 대화하는 것이 아무에게도 못 묻는 것보다 낫습니다. 사람도 틀립니다. 다만 사람에게는 근거가 무엇이냐, 반대로 주장해 보라, 아까와 다르다는 말을 하기 어렵습니다. AI 에게는 그 질문에 비용이 없습니다.

그러니 질문이 곧 검증입니다. 한 번 묻고 믿는 사람이 위험하고, 되묻는 사람은 틀린 답과 함께 있어도 괜찮습니다. 틀린 답은 질문 몇 개를 못 견딥니다.