자료조사를 마치고 보고서를 제출했다. 팀장이 페이지를 넘기다 멈췄다. “여기 나온 시장 규모 수치, 어디서 가져온 거야?” ChatGPT가 뽑아준 숫자를 그대로 넣었는데, 검색해도 같은 데이터가 안 나온다. 분명히 그럴듯해 보였는데.
한 번은 실수다. 두 번째부터는 패턴이 된다. 상사나 교수는 두 번째 반려 때부터 “이 사람, 검증을 안 하는구나”를 각인한다. AI 결과물을 그대로 내놓을 때 지불하는 비용은 시간이 아니라 신뢰다. 그리고 신뢰는 한번 무너지면 복구 비용이 크다.
이번 편은 그 신뢰를 지키면서 ChatGPT를 쓰는 검증 루틴을 다룬다. 별도 툴이 필요 없다. 대화창 하나에서 끝난다.
그럴듯해서 더 무서운 AI 오류
ChatGPT의 진짜 문제는 틀린 답이 아니다. 틀린 답이 맞는 것처럼 보인다는 점이다. 논리 흐름이 자연스럽고 문장이 매끄러우니 의심할 타이밍을 놓친다.
특히 세 가지 상황에서 조심해야 한다.
- 수치·통계: 구체적인 숫자는 신뢰감을 주지만, 출처 없이 생성되는 경우가 많다
- 최신 정보: ChatGPT의 학습 데이터에는 시간적 한계가 있다. 정확한 데이터 기준일은 공식 페이지(openai.com)에서 확인 필요
- 전문 분야 세부 사항: 그럴듯한 설명이지만 현장 규정이나 조건과 다를 수 있다
공교롭게도 이 세 가지가 보고서·발표자료·학교 과제에서 가장 자주 등장하는 내용이다. 그냥 채팅처럼만 쓰면 검증해야 할 항목이 어디 있는지조차 모르고 넘어가게 된다.
검증이 습관이 되는 3단계 루틴
ChatGPT 결과물을 받자마자 편집부터 시작하지 않는다. 먼저 이 흐름을 한 번 거친다.
1단계 — 의심 포인트를 먼저 표시한다
결과물을 메모장이나 문서에 붙인다. 수치, 통계, 특정 인물 발언, 고유명사 옆에 별표나 밑줄을 긋는다. “이 숫자가 맞나?” “이 사람이 실제로 이 말을 했나?”를 질문으로 바꿔 놓는 과정이다. 이 단계에서는 내용을 수정하지 않는다.
2단계 — 같은 대화창에서 출처를 바로 요청한다
따로 새 창을 열 필요 없다. 방금 결과물을 받은 대화 안에서 곧바로 “방금 준 내용 중 수치나 통계에 해당하는 부분을 찾아서, 각각 출처나 근거를 알려줘”라고 묻는다. ChatGPT는 솔직하게 “확인 필요”라고 답하기도 하고, 구체적인 자료를 제시하기도 한다.
3단계 — 직접 검색해서 교차 검증한다
출처가 나왔으면 검색해서 실제로 존재하는지 확인한다. “확인 필요”로 표시됐으면 검색엔진에서 해당 수치를 직접 찾는다. 이 단계에서 결과물을 ‘통과’와 ‘교체 필요’ 두 가지로 분류한다.
세 단계가 익숙해지면 ChatGPT 결과를 받고 5~10분 안에 검증을 마칠 수 있다.
틀린 부분을 찾아내는 두 가지 방법
2단계와 3단계에서 실제로 쓰는 방법이다. 하나는 ChatGPT에게 직접 묻는 것이고, 다른 하나는 같은 주제를 다른 각도로 다시 던지는 것이다.
방법 A — 출처 확인 프롬프트로 한 번에 추려내기
결과물 전체를 생성한 대화에서 이어서 아래 프롬프트를 입력한다. ChatGPT가 스스로 불확실한 항목을 구분해주고, “확인 필요” 표시가 바로 내가 직접 검색할 목록이 된다.
위 내용을 다시 읽고, 수치·통계·특정 사실 주장이 포함된 문장을 모두 찾아줘.
찾은 항목마다 아래 두 가지를 알려줘:
(1) 이 정보의 출처나 근거 (보고서 제목, 기관명, 발행 연도 등)
(2) 출처를 모르거나 확실하지 않으면 "확인 필요"라고 표시해줘
모르는 걸 억지로 채우지 마. 솔직하게 말해줘.
방법 B — 반대 방향으로 한 번 더 묻기
“국내 전기차 시장이 연 30% 성장한다고 했는데, 이 전망에 반론이나 다른 시각도 있어?”처럼 같은 주제를 반대 각도로 던진다. AI가 처음 답변에서 생략했던 조건이나 예외가 여기서 드러난다. 수치가 맞더라도 조건이 다르면 의미가 달라지기 때문이다.
두 방법의 공통 전제는 하나다. ChatGPT를 최종 답변자가 아닌 초안 작성자로 대한다. AI가 보고서 작성 전체 흐름에서 어느 단계에 들어가는지가 궁금하다면, 회의록·메모를 보고서로 바꾸는 ChatGPT 3단계 실전 (17편)에서 전체 흐름을 확인할 수 있다.
팩트 다음에는 내 문장으로 바꾼다
팩트를 검증해도 문체에 AI 냄새가 남으면 다른 문제가 생긴다. 보고서나 과제를 읽는 사람이 “이거 ChatGPT 쓴 거 아니야?”를 느끼는 순간, 내용이 아무리 좋아도 신뢰가 반감된다.
AI 문체에는 특징이 있다. “~라고 할 수 있습니다”, “~에 있어서” 같은 번역투. 모든 문장이 비슷한 길이로 균일한 것. 그리고 주장 앞에 습관처럼 붙는 “물론”, “당연히”, “기본적으로”. 이걸 손으로 하나씩 고치면 시간이 걸린다. 다시 ChatGPT에게 맡기는 게 빠르다.
단, 순서가 중요하다. 반드시 팩트체크를 먼저 마치고 그 다음에 리라이팅한다. 반대로 하면 문체를 바꾼 내용을 다시 사실 확인해야 해서 작업이 두 배로 늘어난다.
아래 글을 내 말투로 자연스럽게 바꿔줘.
조건:
- 직장인이 동료에게 구두로 설명하듯 자연스러운 문체로
- "~라고 할 수 있습니다", "~에 있어서", "물론 ~이지만", "기본적으로" 표현은 모두 삭제
- 한 문장이 50자를 넘지 않도록 끊어줘
- 짧은 문장(10~20자)과 긴 문장(40~50자)을 번갈아 써서 리듬을 만들어줘
- 사실이나 수치는 바꾸지 말고 표현만 바꿔줘
[팩트체크가 완료된 텍스트를 여기에 붙여넣기]
Before (AI 생성 원본)
“국내 스마트폰 보급률은 2024년 기준 97%에 달하며, 이는 아시아 국가 중 최상위권에 해당한다고 할 수 있습니다. 이에 있어서 모바일 중심의 마케팅 전략은 필수적이라고 볼 수 있습니다.”
↓ 팩트체크: 수치 출처 불명확 → 공개 보고서에서 교체
↓ 리라이팅: AI 번역투 제거
After (검증 + 리라이팅 완료)
“국내 스마트폰 보급률은 KISDI 2023년 조사 기준 94.1%다. 아시아 최상위 수준이지만 정확한 국가 간 순위는 자료마다 다르다. 모바일 마케팅을 우선순위에 두기엔 이 숫자만으로도 충분하다.”
자주 묻는 질문
Q. ChatGPT 결과물을 매번 다 검증해야 하나요? 너무 오래 걸릴 것 같은데요.
모든 내용을 검증할 필요는 없다. 수치·통계·특정 인물 발언·최신 사건만 확인하면 된다. 아이디어 제안, 일반적인 설명, 글의 구조는 그대로 써도 된다. 검증이 필요한 항목은 대부분 전체의 20~30% 수준이고, 위 프롬프트를 쓰면 그 항목을 한 번에 추려낼 수 있어 실제 검증 시간은 5~10분 안에 끝난다.
Q. ChatGPT가 출처를 알려줬는데, 검색해도 그 자료가 존재하지 않아요.
‘환각(Hallucination)’이라고 부르는 현상이다. 없는 자료를 있는 것처럼 제시하는 것으로, ChatGPT에서 드물지 않게 발생한다. 이 경우 두 가지 선택지가 있다. 해당 수치나 주장을 삭제하거나, 직접 신뢰할 수 있는 기관 자료에서 유사한 데이터를 찾아 교체한다. ChatGPT가 제시한 자료명을 확인 없이 그대로 인용하면 안 된다.
Q. ChatGPT를 처음 쓰는데, 이 검증 프롬프트는 어디서 쓰나요?
별도 설정이나 플러그인이 필요 없다. ChatGPT 대화창에서 AI가 생성한 내용 바로 아래에 이번 편의 프롬프트를 붙여넣고 이어서 입력하면 된다. 같은 대화 안에서 생성 → 출처 확인 → 리라이팅을 연속으로 진행할 수 있다. 무료 플랜에서도 동일하게 작동하며, 플랜별 세부 기능 한도는 공식 페이지(openai.com)에서 확인할 수 있다.
AI를 잘 쓰는 사람과 그냥 쓰는 사람의 차이
AI 결과물을 내 것으로 만드는 건 두 단계다. 팩트를 잡고, 문체를 바꾼다. 이 루틴이 한 번 몸에 붙으면 결과물의 신뢰도가 달라진다. ChatGPT가 작업 속도를 올려주는 건 맞지만, 품질의 최종 책임은 사용하는 사람에게 있다. 도구를 잘 쓰는 건 빠르게 쓰는 게 아니라 올바르게 쓰는 것이다.
이 시리즈도 마지막 한 편이 남았다. 지금까지 배운 것들을 매일 반복할 수 있는 루틴으로 굳히는 방법을 다음 편에서 다룬다. 나만의 AI 루틴 만들기 — 매일 쓰는 사람으로 넘어가기에서 이어진다.