빅웨이브에이아이 기술블로그

보호되어 있는 글입니다.

빅웨이브에이아이 조상원 님이 정리한 리뷰입니다. ChatGPT와 같은 LLM의 환각(Hallucination) 증상에 대해 들어보셨나요? 아무래도 ChatGPT를 많이 써보신 분들은  ChatGPT가 한번씩 틀린 대답을 하는 것을 본 적 있으실 겁니다. ChatGPT는 생성할 단어를 AI가 확률적으로 예측하는 방식이기 때문에, 이런 오류가 존재할 수 있고, 그래서 팩트 체크가 중요하다고 볼 수 있습니다. 이에 그래도 최대한 오류를 출력에서 억제할 수 있는 두 가지 방법을 소개드리겠습니다. Fact Check List 이 패턴은 ChatGPT에게 팩트 체크의 역할까지 부여하는 방식입니다. 간단하게 설명하자면 2단계의 수행을 요청합니다. 1. Fact Check가 필..

본 내용은 빅웨이브에이아이 조상원 님이 리뷰한 내용입니다. 이번 포스트에서는 Template 패턴에 대해서 알려드리겠습니다. 간단히 설명하자면, ChatGPT의 출력의 형태를 정의해서 작업하는 것을 의미합니다. 예를 들어, 특정 양식의 문서를 작성할 때 메타 언어 등으로 구조화된 탬플릿을 만들어서 출력을 요청하는 방식입니다. Key Ideas 1. 탬플릿 출력을 위해 Placeholder(필요한 값) 정의 2. 탬플릿을 구조화하고 Placeholder를 적절한 위치에 배치 바로 예시로 넘어가보겠습니다. 예시 - API 링크 탬플릿 만들기 RestAPI의 주소를 생성하기 위한 출력을 요청했습니다. 탬플릿이라는 용어와 함께, 예시를 제시하면 맥락에 맞는 출력을 생성해줍니다. 이와 같이 특정 양식의 문구, 문..

빅웨이브에이아이 조상원 님이 정리한 리뷰입니다. 이번 리뷰에서는 Recipe에 대해서 알아보겠습니다. Recipe, 말 그대로 특정 요리를 할 때 필요한 프로세스를 의미하죠? 달성하고 싶은 목표가 있고, 어느정도 지식이 있을 때 ChatGPT에게 적당히 정보를 주고 완전한 레시피를 찾는 방법입니다. Key Idea 1. 특정 작업에 대한 스텝 A, B, C가 필요 2. 우선 아는대로 ChatGPT에게 지식 전달 3. 누락된 단계 보충 요청 4. 불필요한 단계 제거 요청 위 프로세스를 통해서 완전한 형태의 작업 프로세스를 얻을 수 있습니다. 예시 - 사무실 인테리어 계획 Recipe 작성 "인테리어 계획"에 대한 Recipe를 만들어보겠습니다. 추가한 작업과 삭제한 작업에 대해서 출력을 요청합니다. 덧붙여..

빅웨이브에이아이 조상원 님이 정리한 리뷰입니다. 페르소나 방식의 경우 ChatGPT 사용법에서 가장 유명한 것 중 하나인데요, 논문에서 얘기하는 구체적인 사례를 알아보겠습니다. 개념 많은 경우에 사용자는 LLM의 출력이 특정 관점을 취하기를 원합니다. 예를 들어, LLM이 프로그래밍 전문가인 것처럼 스크립트를 작성하는 것이 유용할 수 있습니다. 이번 패턴은 LLM이 어떤 유형의 출력을 생성하고 어떤 세부 사항에 초점을 맞출 것인지 도움이 되는 Persona(외적 인격)를 제공하는 것입니다. Key Ideas 1. Persona X 처럼 행동 2. Persona X가 생성할 것 같은 결과물 제시 예시 1 - 초등학교 교사 ? 무슨 말인지 잘 모르겠군요. 조금 쉽게 풀어보기 위해서 '초등학교 교사'라는 페르..

빅웨이브에이아이 조상원 님이 정리한 내용입니다. 개요 이 패턴의 목적은 대화형 LLM(ChatGPT와 같은)이 제안하는 단계를 자동으로 수행할 수 있는 스크립트나 다른 자동화 아티팩트를 생성하도록 하는 것입니다. 목표는 LLM 원하는 출력을 구현하는 데 필요한 수동 작업을 줄이는 것입니다. 작업을 줄이고자 하는 이유는 LLM이 단계별로 수행되어야 할 때가 많기 때문입니다. 예를 들어, 파이썬 설정 스크립트 생성을 요청했을 때, 여러 파일을 수정하고 각 파일에 특정 변경을 적용해야 할 수 있습니다. 이 경우 ChatGPT를 활용할 때 시간도 많이 소요될 수 있고 최종 결과물의 품질도 떨어질 수 있습니다. 메커니즘 1. 단계별 프롬프트 입력이 필요할 시 적용 가능 2. 이러한 단계를 자동화하는 유형의 실행 ..

안녕하세요! 빅웨이브에이아이 이현상입니다. 대학교 과제, 회사 업무, 연구 등등.. ChatGPT 요즘 많이들 쓰실텐데요, "ChatGPT 잘 쓰는 법"이라고 검색해도.. 구체적으로 질문하라! 페르소나를 정의하라! 예시를 들어라! 뭐 이런 내용들 많이들 보셨을 겁니다. 사실 이런 팁 정도는 2022년 출시 이후 꾸준히 써보신 분들이라면 다 아는 내용들이죠? 저는 그런 다 아는 내용들 말고, 2023년에 나온 논문 중에 ChatGPT 프롬프트 관련해서 재밌는 게 하나 있어서 알려드릴려고 합니다! 바로 "A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT"라는 논문인데요, ChatGPT 답변 성능을 높이기 위한 다양한 방법론들을 정리하는 ..

빅웨이브 이현상 님이 작성한 기술 리뷰입니다. Mergekit? LLM을 합칠 수 있는 툴킷 주소 링크 GitHub - arcee-ai/mergekit: Tools for merging pretrained large language models. 특징 LLAMA, MISTRAL, GPT-NeoX, StableLM 등 지원 Linear, SLERP, Task Arithmetic 등 다양한 병합 방법 사용 가능 VRAM 8GB 수준의 GPU 가속화 가능 텐서 지연 로딩으로 메모리 사용 낮게 가능 가중치 값에 대한 보간 그래디언트 적용 Piecewise 형태로 LLM 모델 레이어를 병합시킴 최근에 Kyujin이라는 사람이 SOLAR랑 본인 모델 Mergekit해서 EN, KO 둘 다 1등함 ML 모델 앙상블이..

빅웨이브에이아이 이원석 님의 리뷰입니다. LLM 모델인 GPT-4, PaLM, LLama 등은 범용적인 목적에 맞게, 매우 큰 모델 사이즈와 매우 방대한 양의 데이터로 사전 학습이 수행됨 일반적인 LLM의 경우 방대한 양의 데이터로 부터 매우 다양한 도메인 지식을 습득 But, 사전 학습 데이터에서 욕설, 편향적인 정보, 부정확한 정보를 담은 문서 등 적절치 못한 데이터를 다수 포함 데이터 클렌징 및 필터링 등 방대한 양의 데이터를 사람이 전부 처리하는 것은 한계가 존재 이에 따라, 모델이 부적절한 문장이나 단어를 선택하여 다음 문장을 생성하는 일이 빈번하게 발생 생성 모델 자체도 Next-token prediction 방식으로 학습 되기 때문에 최대한 확률적으로 높은 문장을 생성하는 것, 이로인한 환각..

Introduction 안녕하세요! 빅웨이브에이아이 이현상입니다! 요즘 들어 블로그 포스트를 거의 올리지 못해 저도 참 아쉬웠는데요, 사실 저도 직장 근무를 하면서 회사 블로그 운영하기가 쉽지는 않더라구요 ㅜㅜ 그래서 아에 블로그를 지금처럼.. 방치하기 보다는, 저희 회사의 월간 세미나로 정리되는 내용을 하나씩 공유드리고자 합니다! 최근 저희 회사에서는 최신 트렌드에 발맞춰서 LLM(Large Language Model) 및 생성형 AI 관련 내용들을 연구하고 있는데요, 이 밖에도 추후 AI 관련 트렌드에 맞춰 정리된 내용들을 지속적으로 전달해드리려고 해요. 오늘은 LangChain이라는 LLM 어플리케이션 개발을 위한 프레임워크를 소개해드리겠습니다! 빅웨이브에이아이 이현상 님의 리뷰입니다. 1. Lan..