ChatGPT가 틀렸다는 걸 뒤늦게 알아챈 적 있는가. 그것도 꽤 중요한 내용으로. 보고서에 넣거나, 누군가에게 알려준 다음에야.
말투가 워낙 단호했다. 머뭇거림도 없고, 출처 링크도 없고, “잘 모르겠다”는 말도 없었다. 그래서 그냥 믿었다. 그런데 알고 보니 존재하지 않는 수치였거나, 몇 년 전에 바뀐 내용이었다.
이건 ChatGPT가 유독 나쁜 도구라서가 아니다. 구조적인 특성이다. 이 특성을 모르고 쓰는 것과, 알고 쓰는 것은 결과가 완전히 다르다.
말투는 자신 있는데 내용이 틀리는 이유
ChatGPT는 정답을 알고 있어서 말하는 게 아니다. 지금 이 맥락에서 가장 그럴듯한 다음 단어를 확률적으로 고르고, 그 단어들을 이어붙여 문장을 완성한다. 즉, 말투의 자신감과 정보의 정확성은 전혀 다른 차원에서 결정된다.
이런 현상을 할루시네이션(hallucination), 우리말로 환각이라고 부른다. AI가 없는 사실을 있는 것처럼 생성하는 것. 억측이나 추측이 아니라, 언어 모델이 그럴듯한 흐름을 만들다 보니 생기는 구조적 산물이다.
실제로 어떻게 나타나는지 보면 이해가 빠르다.
- 존재하지 않는 논문을 제목·저자·게재 연도까지 그럴듯하게 생성한다.
- 실제와 다른 법 조항 번호나 조문 내용을 인용한다.
- 2~3년 전에 바뀐 정책을 현재형으로 설명한다.
- “A 기관의 공식 발표에 따르면”이라고 시작하지만, 그런 발표가 없었다.
겁나게 느껴질 수 있다. 하지만 이걸 알면 도구를 버리게 되는 게 아니라 더 잘 쓸 수 있게 된다. 어디서 확인하고 어디서 믿어도 되는지를 구분하는 눈이 생긴다.
그냥 채팅으로만 쓸 때 이 문제가 커지는 이유
막연히 질문하고 통째로 받아 적으면, 틀린 정보를 걸러낼 기회가 없다. “○○ 연구에 따르면 ~”이라는 문장에서 ○○ 연구가 아예 존재하지 않을 수 있다. 링크도 없고, 날짜도 없고, 출처도 없다. 그냥 그럴듯하게 읽힐 뿐이다.
ChatGPT를 잘 쓰는 첫 번째 태도는 하나다. 결과를 받으면 한 가지는 확인한다. 불신이 아니라 협업 방식이다. 계산기를 쓸 때 숫자를 제대로 눌렀는지 한 번 보는 것처럼. 어려운 게 아니라 습관의 문제다.
그럼 구체적으로 어떤 상황에서 확인해야 하는가. 모든 답변을 검증할 필요는 없다. 다음 세 가지만 기억해도 충분하다.
이럴 때 반드시 확인한다 — 검증이 필요한 순간 3가지
첫째, 숫자·통계·연도가 구체적으로 나왔을 때. “시장 규모 약 2조 원”, “2022년 기준 43%” 같은 수치가 나오면 출처를 물어봐야 한다. AI는 수치를 생성하는 경향이 있다. 있어 보이는 숫자를 만들어내는 것, 이게 가장 흔한 환각 유형이다.
둘째, 특정 인물이나 기관의 발언이 등장했을 때. “A 교수에 따르면”, “B 기업의 공식 입장에 의하면” — 이런 문장은 실제로 그런 말이 있었다는 보장이 아니다. 이름이 구체적일수록 오히려 더 의심해봐야 한다.
셋째, 법령·규정·정책처럼 자주 바뀌는 정보가 나왔을 때. ChatGPT의 학습 데이터에는 마감 시점이 있다. 그 이후에 바뀐 내용은 반영되지 않는다. 법이나 제도 관련 내용을 중요한 결정에 쓸 거라면 공식 기관 페이지에서 직접 확인하는 것이 맞다.
방금 해준 답변에서 내가 직접 확인해야 할 사실이나, 틀릴 가능성이 있는 부분을 따로 정리해줘. 어떤 항목을 어디서 확인하면 좋은지도 같이 알려줘.
이 문장을 답변 직후 이어서 입력하면, ChatGPT 스스로 자기 답변의 약한 지점을 짚어준다. 완벽하지는 않다. 하지만 어디를 먼저 볼지 방향을 잡는 데는 충분히 쓸 수 있다. 검증의 시작점을 ChatGPT에게 물어보는 것 자체가 이미 한 단계 앞선 사용 방식이다.
ChatGPT에게 아예 맡기면 안 되는 것들
환각 외에도, 구조적으로 못하는 영역이 있다. 이걸 억지로 시키면 그럴듯한 오답이 나온다. 미리 알아두면 실망할 일이 줄어든다.
| 요청 유형 | 왜 안 되는가 |
|---|---|
| 오늘 날씨·주가·실시간 뉴스 | 인터넷을 검색하지 않는 기본 상태에서는 현재 정보가 없음. 웹 검색 기능 활성화 여부는 공식 페이지에서 확인 필요 |
| URL 링크 내용 읽어오기 | 링크를 주면 내용을 읽어오는 구조가 아님. 텍스트를 직접 붙여넣어야 처리할 수 있음 |
| 정밀도가 중요한 계산 | 복잡한 수식이나 소수점 정밀 계산은 틀릴 수 있음. 중요한 계산은 전용 도구 병행 권장 |
| 회사 내부 자료 기반 판단 | 직접 붙여넣지 않은 자료는 알 수 없음. 내부 문서를 텍스트로 제공하고 질문해야 함 |
나 지금 [여기에 주제 입력]에 대해 물어볼 건데, 이 주제에서 네가 잘 모를 수 있거나 학습 데이터가 오래됐을 가능성이 있는 부분 있으면 먼저 알려줘. 그리고 답변할 때 확실하지 않은 내용은 "확인 필요"라고 표시해줘.
[여기에 주제 입력] 자리에 물어볼 분야를 넣는다. 예를 들어 “2025년 이후 고용보험 개정 내용” 또는 “최근 반도체 업계 동향”처럼. 이렇게 먼저 세팅하면 ChatGPT도 더 조심스럽게 답한다. 완벽한 방어막은 아니지만, 방향 자체가 달라진다.
Before: ChatGPT 답변을 그대로 보고서에 붙여넣었다가, “이 수치 출처가 어디야?”라는 질문에 대답을 못한다. 다시 찾아보니 그 연구 자체가 없다.
After: 숫자나 인용이 나오면 프롬프트 한 줄을 더 붙인다. “이 내용 중 내가 직접 확인해야 할 부분 있어?” 그게 전부다. 검증이 거창한 게 아니다.
자주 묻는 질문
Q. ChatGPT 할루시네이션은 버전이 올라가면 없어지나요?
완전히 사라지지는 않는다. 최신 버전일수록 빈도는 줄어들고 있지만, 확률적 언어 모델의 구조상 환각 가능성은 항상 남는다. 버전과 상관없이 숫자·인용·법령이 나오면 확인하는 습관이 필요하다.
Q. 그럼 ChatGPT를 아예 믿으면 안 되는 건가요?
검증 없이 전부 믿으면 안 된다는 뜻이지, 쓰지 말라는 뜻이 아니다. 글의 흐름 잡기, 아이디어 나열, 긴 글 요약처럼 사실 정확도가 덜 중요한 작업에서는 충분히 쓸 수 있다. 어떤 작업에 어떻게 쓰느냐가 핵심이다.
Q. AI를 처음 쓰는데 뭐부터 시작해야 하나요?
아무 질문이나 해도 된다. 단, 처음엔 정보 수집보다 “이 주제 쉽게 설명해줘”, “이 문장 다듬어줘” 같은 생성·정리 작업부터 시작하는 게 좋다. 사실 정확도가 덜 중요한 작업이라 환각 리스크가 낮고, 도구를 익히기에도 적합하다. 검증이 필요한 정보성 질문은 익숙해진 뒤에 시도해도 늦지 않는다.
특성을 알면 도구가 달리 보인다
ChatGPT가 틀릴 수 있다는 걸 안다고 해서 이 도구가 쓸모없어지는 게 아니다. 오히려 이걸 모르고 쓰는 사람보다 훨씬 잘 쓸 수 있게 된다. 어디서 믿고 어디서 확인하는지를 구분하는 것, 그게 AI 활용의 첫 번째 실력이다.
이제 자연스럽게 다음 질문이 생긴다. ChatGPT 말고 Claude나 Gemini는 이 부분이 다른가? 어떤 걸 먼저 골라야 하나? 처음 선택하는 AI가 이후 습관을 만들기 때문에 생각보다 중요한 결정이다. 다음 편에서 초보자 기준으로 세 도구를 비교해 정리한다.