빅웨이브에이아이 기술블로그

시작 안녕하세요! 빅웨이브에이아이 이현상입니다. 지난 포스트에서 ViT-G/14에 대해서 소개드렸죠? 구글에서는 최근 TFT, TabNet, ViT 등 다양한 분야에서 트랜스포머 기법을 응용하여 우수한 성능을 달성하고 있습니다. 그런데 대표적인 SOTA 알고리즘 소개 사이트인 'paperwithcode'의 이미지 분류 분야를 보면 파라미터 수가 참 어마어마하죠? ImageNet 벤치마크 상위 4개 알고리즘은 모두 파라미터 개수가 1,000M(10억개)이 넘습니다! 파라미터 수가 10억개를 넘는 모델을 개인이 활용하거나 모바일 기기에 탑재하기에는 어려움이 있습니다. 그래서 딥러닝 모델을 실용적으로 활용하기 위한 효율적인 경량화도 딥러닝 분야에서 굉장히 중요한 요소 중 하나입니다. Andrew Howard,..