빅웨이브에이아이 기술블로그

시작 안녕하십니까? 빅웨이브에이아이 선임 연구원 이현상입니다. 오랜만에 SOTA 알고리즘 시리즈로 인사드립니다! 지난 포스트에서 정형 데이터 예측 분야에서의 트랜스포머 기법을 적용한 TabNet을 소개드린 적이 있었는데요, 그 이후 2021년 6월 SAINT(Self-Attention and Intersample Attention Transformer)라는 새로운 정형 데이터 딥러닝 예측 기법이 등장했습니다! 최근 딥러닝 동향은 거의 대부분의 분야에서 트랜스포머를 적용하고 있는 상황이라고 여러번 말씀드렸죠? 이번에도 역시 트랜스포머 기반 정형 데이터 분석 기술입니다. 논문 내용에 대해서 하나씩 살펴보겠습니다. Key Idea SAINT는 2개의 핵심 아이디어를 가지고 있습니다. 본 논문에서는 정형 데이터..

안녕하세요! 빅웨이브에이아이의 박정환입니다. 지난 SOTA 알고리즘 포스팅 글은 이상치 탐지 분야의 PANDA, DEVNET, GAN, OCNN에 대해서 알아보았었는데요~ 이번 시간에는 정형 데이터 분석 분야의 SOTA 알고리즘인 TabNet에 대해서 알아보도록 하겠습니다! Key Idea 딥러닝이 발전의 발전을 거듭하고 있다고 해도, 이상하리만큼 정형 데이터쪽에서는 힘을 쓰지 못하고 있어왔습니다. 오히려, 정형 데이터는 기존 통계적 기법들이 우수한 성능을 보여주고 있었죠. 그러나, 딥러닝쪽에서도 어깨를 펼 새로운 모델이 등장했습니다 ! ! Google Cloud AI의 Sercan님과 Tomas님이 제안한 이 모델은 트리 룰에 기반하는 gradient boosting과 신경망 모델 구조의 장점을 모두 ..