빅웨이브에이아이 기술블로그

빅웨이브 이현상 님이 작성한 기술 리뷰입니다. Mergekit? LLM을 합칠 수 있는 툴킷 주소 링크 GitHub - arcee-ai/mergekit: Tools for merging pretrained large language models. 특징 LLAMA, MISTRAL, GPT-NeoX, StableLM 등 지원 Linear, SLERP, Task Arithmetic 등 다양한 병합 방법 사용 가능 VRAM 8GB 수준의 GPU 가속화 가능 텐서 지연 로딩으로 메모리 사용 낮게 가능 가중치 값에 대한 보간 그래디언트 적용 Piecewise 형태로 LLM 모델 레이어를 병합시킴 최근에 Kyujin이라는 사람이 SOLAR랑 본인 모델 Mergekit해서 EN, KO 둘 다 1등함 ML 모델 앙상블이..

빅웨이브에이아이 이원석 님의 리뷰입니다. LLM 모델인 GPT-4, PaLM, LLama 등은 범용적인 목적에 맞게, 매우 큰 모델 사이즈와 매우 방대한 양의 데이터로 사전 학습이 수행됨 일반적인 LLM의 경우 방대한 양의 데이터로 부터 매우 다양한 도메인 지식을 습득 But, 사전 학습 데이터에서 욕설, 편향적인 정보, 부정확한 정보를 담은 문서 등 적절치 못한 데이터를 다수 포함 데이터 클렌징 및 필터링 등 방대한 양의 데이터를 사람이 전부 처리하는 것은 한계가 존재 이에 따라, 모델이 부적절한 문장이나 단어를 선택하여 다음 문장을 생성하는 일이 빈번하게 발생 생성 모델 자체도 Next-token prediction 방식으로 학습 되기 때문에 최대한 확률적으로 높은 문장을 생성하는 것, 이로인한 환각..

Introduction 안녕하세요! 빅웨이브에이아이 이현상입니다! 요즘 들어 블로그 포스트를 거의 올리지 못해 저도 참 아쉬웠는데요, 사실 저도 직장 근무를 하면서 회사 블로그 운영하기가 쉽지는 않더라구요 ㅜㅜ 그래서 아에 블로그를 지금처럼.. 방치하기 보다는, 저희 회사의 월간 세미나로 정리되는 내용을 하나씩 공유드리고자 합니다! 최근 저희 회사에서는 최신 트렌드에 발맞춰서 LLM(Large Language Model) 및 생성형 AI 관련 내용들을 연구하고 있는데요, 이 밖에도 추후 AI 관련 트렌드에 맞춰 정리된 내용들을 지속적으로 전달해드리려고 해요. 오늘은 LangChain이라는 LLM 어플리케이션 개발을 위한 프레임워크를 소개해드리겠습니다! 빅웨이브에이아이 이현상 님의 리뷰입니다. 1. Lan..

시작 안녕하세요! 빅웨이브의 이현상입니다. 지난 포스트에서는 텍스트 생성 AI인 GPT 기술을 소개드리고 ChatGPT와 NaverCLOVA 테스트 내용을 간략하게 공유드렸는데요, 이번에는 본격적으로 AI를 활용하여 블로그를 작성하는 방법과 동시에, AI로 작성한 블로그를 같이 포스트해보고자 합니다! 거두절미하고 바로 시작하겠습니다. ChatGPT 사용법 이미 많은 분들이 ChatGPT를 사용하고 있을 것이라고 생각합니다. 그럼에도 아직 컴퓨터나 AI 기술이 익숙하지 않으신 분들은 어디서부터 시작해야할 지 막막할 수 있겠는데요, 오늘의 포스트에서는 최대한 쉽게 ChatGPT로 블로그를 작성하는 방식에 대해서 소개드리려고 합니다. 우선 가장 중요한 원칙은 바로 "상호작용"인데요, 어렵게 생각할 필요없이 C..

시작 현재 인공지능 기술은 놀라운 발전을 이루고 있습니다. 이 중에서도 최근에 등장한 텍스트-이미지 생성 AI인 Dalle2, Stable Diffusion2, 그리고 영상 생성 AI인 Gen-1은 많은 이들의 관심을 받고 있습니다. Dalle2는 텍스트를 입력하면 해당 텍스트에 대응하는 이미지를 생성하는 기술로, 이전 모델 대비 훨씬 더 자연스러운 이미지 생성이 가능해졌습니다. Stable Diffusion2는 이미지 생성 과정에서 불안정한 요소들을 안정적으로 다루는 기술로, 높은 해상도와 질의 이미지 생성이 가능해졌습니다. 마지막으로, Gen-1은 다양한 주제와 스타일의 영상을 생성하는 기술로, 상당한 수준의 창의적인 결과물을 도출합니다. 이처럼 최근 발표된 이 기술들은 이미지와 영상 생성 분야에서 ..

시작 안녕하십니까? 빅웨이브에이아이 선임 연구원 이현상입니다. 최근들어 다른 업무에 집중하느라 기술 블로그 포스트를 못해서 아쉬웠는데요, 이를 해결할 수 있는 아주 효율적인 방법이 떠올라서 포스트를 하게 되었습니다. 여러분은 최근 AI 분야에서 주목받고 있는 '생성 AI'에 대해서 알고 계신가요? 2021년 1월 5일에 출시된 텍스트-그림 생성 DALLE부터 시작하여, Stable Diffusion, 구글의 Imagen까지.. 텍스트만 입력하면 AI가 생성해준다니 아주 대단하죠? 그런데 최근에 나온 생성 AI 중 크게 주목받고 있는 기술이 있습니다. 바로 텍스트 생성 AI인 'ChatGPT' 인데요, ChatGPT는 사람들의 다양한 요구에 맞추어 고품질의 텍스트를 생성해줍니다. 한국에서도 이러한 변화에 ..

시작 안녕하십니까? 빅웨이브에이아이 선임 연구원 이현상입니다. 오랜만에 SOTA 알고리즘 시리즈로 인사드립니다! 지난 포스트에서 정형 데이터 예측 분야에서의 트랜스포머 기법을 적용한 TabNet을 소개드린 적이 있었는데요, 그 이후 2021년 6월 SAINT(Self-Attention and Intersample Attention Transformer)라는 새로운 정형 데이터 딥러닝 예측 기법이 등장했습니다! 최근 딥러닝 동향은 거의 대부분의 분야에서 트랜스포머를 적용하고 있는 상황이라고 여러번 말씀드렸죠? 이번에도 역시 트랜스포머 기반 정형 데이터 분석 기술입니다. 논문 내용에 대해서 하나씩 살펴보겠습니다. Key Idea SAINT는 2개의 핵심 아이디어를 가지고 있습니다. 본 논문에서는 정형 데이터..