일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- 프롬프트 잘 쓰는법
- 강화학습
- AI
- 비전러닝
- 머신러닝
- mergekit
- Transformer
- 프롬프트 엔지니어링
- chatgpt 꿀팁
- GPT3
- 경진대회
- IT
- 빅데이터
- LLM
- 인공지능
- GPT
- SOTA
- 모델링
- LLM 성능 개선
- TabNet
- GaN
- 거대언어모델
- 컴퓨터 비전
- ChatGPT 잘 쓰는 법
- ChatGPT
- 딥러닝
- 프롬프트 잘 쓰는 법
- 프롬프트
- 악성댓글
- 프롬프트 페르소나
- Today
- Total
목록Transformer (2)
빅웨이브에이아이 기술블로그
시작 안녕하십니까? 빅웨이브에이아이 선임 연구원 이현상입니다. 지난 Neural Prophet 리뷰 이후 오랜만에 SOTA 알고리즘에 대해서 소개드리게 되었습니다! 오늘의 SOTA 알고리즘은 바로 DINO(DETR with Improved deNoising anchOr boxes)로 현재 COCO 2017 객체 탐지 데이터셋에서 1위를 차지하고 있습니다. 풀네임에서 따온 이름이 다소 억지스럽긴 하지만, 최근 논문에서는 단어의 느낌을 위해서 이런 방식을 사용하기도 하더라구요. 그러나! 다소 급조한 듯한 이름과는 다르게 DINO는 객체 탐지 분야의 타 알고리즘과 비교했을 때 아주 혁신적인 실험 결과를 발표했습니다. 그 내용에 대해서 핵심 아이디어 및 모델 아키텍처를 소개드리겠습니다. Key Idea DINO..
시작 안녕하세요! 빅웨이브에이아이 이현상입니다. 지난 포스트에서 ViT-G/14에 대해서 소개드렸죠? 구글에서는 최근 TFT, TabNet, ViT 등 다양한 분야에서 트랜스포머 기법을 응용하여 우수한 성능을 달성하고 있습니다. 그런데 대표적인 SOTA 알고리즘 소개 사이트인 'paperwithcode'의 이미지 분류 분야를 보면 파라미터 수가 참 어마어마하죠? ImageNet 벤치마크 상위 4개 알고리즘은 모두 파라미터 개수가 1,000M(10억개)이 넘습니다! 파라미터 수가 10억개를 넘는 모델을 개인이 활용하거나 모바일 기기에 탑재하기에는 어려움이 있습니다. 그래서 딥러닝 모델을 실용적으로 활용하기 위한 효율적인 경량화도 딥러닝 분야에서 굉장히 중요한 요소 중 하나입니다. Andrew Howard,..