ChatGPT 프롬프트 팁 시리즈 - (6) Error Identification

 

빅웨이브에이아이 조상원 님이 정리한 리뷰입니다.

 

ChatGPT와 같은 LLM의 환각(Hallucination) 증상에 대해 들어보셨나요?

 

아무래도 ChatGPT를 많이 써보신 분들은

 

ChatGPT가 한번씩 틀린 대답을 하는 것을 본 적 있으실 겁니다.

 

ChatGPT는 생성할 단어를 AI가 확률적으로 예측하는 방식이기 때문에,

 

이런 오류가 존재할 수 있고, 그래서 팩트 체크가 중요하다고 볼 수 있습니다.

 

이에 그래도 최대한 오류를 출력에서 억제할 수 있는 두 가지 방법을 소개드리겠습니다.

 

Fact Check List

 

이 패턴은 ChatGPT에게 팩트 체크의 역할까지 부여하는 방식입니다.

 

간단하게 설명하자면 2단계의 수행을 요청합니다.

 

1. Fact Check가 필요한 리스트를 만들어줘

2. 위 리스트의 신뢰 확률을 계산해봐

 

사용자는 위 패턴을 통해서 팩트 체크가 중요한 문서(보고서, 논문 등..) 작성에 도움받을 수 있습니다.

 

예시를 통해서 간단하게 알아보겠습니다.

 

 

일본 사무라이 문화의 영향에 대해서 질문해보겠습니다.

 

팩트 체크 목록을 요청하고, 목록에 대한 신뢰도를 평가하도록 프롬프트를 작성합니다.

 

 

요청한 내용에 대해서 일단 Essay 형식으로 출력했습니다.

 

 

팩트 체크 목록과 신뢰도 평가 내용도 같이 제시합니다.

 

3번 팩트에 대해서는 조금 더 심층적인 분석이나 reference가 필요해 보이는군요.

 

Reflection

 

다음은 Reflection에 대한 내용입니다.

 

한번씩 ChatGPT가 근거가 부족한 의견 및 주장을 펼칠 때가 있습니다.

 

이번 패턴은 이런 ChatGPT의 의견에 대해서 "거울에 비춰서 보자"라는 의미입니다.

 

이 패턴은 하나의 주장 및 의견과 함께 추론 근거, 가정법, 방법론 등을 요청합니다.

 

이를 통해 ChatGPT로부터 논리적으로 잘 구성된 답변을 얻을 수 있습니다.

 

 

AI 시대에 맞춰 가장 적합한 직업을 추천받아보겠습니다.

 

프롬프트에 판단 근거에 대한 내용을 추가합니다.

 

추가적으로 답변의 한계와 유의점도 포함했습니다.

 

 

AI 기반 게임 개발자를 추천하는군요.

 

약간은 식상하긴 하지만 추천 근거를 아주 구체적으로 제시하는 모습입니다.

 

 

그리고 직업에 대한 잠재적 한계와 사용자가 겪을 수 있는 유의점도 설명해줍니다.

 

이 Reflection 패턴은 간단한 주장 및 의견이 필요할 때,

 

구체적인 근거를 기반으로 양질의 대답을 얻을 수 있습니다.

 

다음 포스트에서는 Prompt Improvement를 주제로 다양한 패턴들을 알아보겠습니다.

 

읽어주셔서 감사합니다.