빅웨이브에이아이 기술블로그

빅웨이브 이현상 님이 작성한 기술 리뷰입니다. Mergekit? LLM을 합칠 수 있는 툴킷 주소 링크 GitHub - arcee-ai/mergekit: Tools for merging pretrained large language models. 특징 LLAMA, MISTRAL, GPT-NeoX, StableLM 등 지원 Linear, SLERP, Task Arithmetic 등 다양한 병합 방법 사용 가능 VRAM 8GB 수준의 GPU 가속화 가능 텐서 지연 로딩으로 메모리 사용 낮게 가능 가중치 값에 대한 보간 그래디언트 적용 Piecewise 형태로 LLM 모델 레이어를 병합시킴 최근에 Kyujin이라는 사람이 SOLAR랑 본인 모델 Mergekit해서 EN, KO 둘 다 1등함 ML 모델 앙상블이..

Introduction 안녕하세요! 빅웨이브에이아이 이현상입니다! 요즘 들어 블로그 포스트를 거의 올리지 못해 저도 참 아쉬웠는데요, 사실 저도 직장 근무를 하면서 회사 블로그 운영하기가 쉽지는 않더라구요 ㅜㅜ 그래서 아에 블로그를 지금처럼.. 방치하기 보다는, 저희 회사의 월간 세미나로 정리되는 내용을 하나씩 공유드리고자 합니다! 최근 저희 회사에서는 최신 트렌드에 발맞춰서 LLM(Large Language Model) 및 생성형 AI 관련 내용들을 연구하고 있는데요, 이 밖에도 추후 AI 관련 트렌드에 맞춰 정리된 내용들을 지속적으로 전달해드리려고 해요. 오늘은 LangChain이라는 LLM 어플리케이션 개발을 위한 프레임워크를 소개해드리겠습니다! 빅웨이브에이아이 이현상 님의 리뷰입니다. 1. Lan..