빅웨이브에이아이 기술블로그

시작 안녕하십니까? 빅웨이브에이아이 선임 연구원 이현상입니다. 오랜만에 SOTA 알고리즘 시리즈로 인사드립니다! 지난 포스트에서 정형 데이터 예측 분야에서의 트랜스포머 기법을 적용한 TabNet을 소개드린 적이 있었는데요, 그 이후 2021년 6월 SAINT(Self-Attention and Intersample Attention Transformer)라는 새로운 정형 데이터 딥러닝 예측 기법이 등장했습니다! 최근 딥러닝 동향은 거의 대부분의 분야에서 트랜스포머를 적용하고 있는 상황이라고 여러번 말씀드렸죠? 이번에도 역시 트랜스포머 기반 정형 데이터 분석 기술입니다. 논문 내용에 대해서 하나씩 살펴보겠습니다. Key Idea SAINT는 2개의 핵심 아이디어를 가지고 있습니다. 본 논문에서는 정형 데이터..