빅웨이브에이아이 기술블로그

시작 안녕하십니까? 빅웨이브에이아이 선임 연구원 이현상입니다. 오랜만에 SOTA 알고리즘 시리즈로 인사드립니다! 지난 포스트에서 정형 데이터 예측 분야에서의 트랜스포머 기법을 적용한 TabNet을 소개드린 적이 있었는데요, 그 이후 2021년 6월 SAINT(Self-Attention and Intersample Attention Transformer)라는 새로운 정형 데이터 딥러닝 예측 기법이 등장했습니다! 최근 딥러닝 동향은 거의 대부분의 분야에서 트랜스포머를 적용하고 있는 상황이라고 여러번 말씀드렸죠? 이번에도 역시 트랜스포머 기반 정형 데이터 분석 기술입니다. 논문 내용에 대해서 하나씩 살펴보겠습니다. Key Idea SAINT는 2개의 핵심 아이디어를 가지고 있습니다. 본 논문에서는 정형 데이터..

시작 안녕하십니까? 빅웨이브에이아이 선임 연구원 이현상입니다. 지난 Neural Prophet 리뷰 이후 오랜만에 SOTA 알고리즘에 대해서 소개드리게 되었습니다! 오늘의 SOTA 알고리즘은 바로 DINO(DETR with Improved deNoising anchOr boxes)로 현재 COCO 2017 객체 탐지 데이터셋에서 1위를 차지하고 있습니다. 풀네임에서 따온 이름이 다소 억지스럽긴 하지만, 최근 논문에서는 단어의 느낌을 위해서 이런 방식을 사용하기도 하더라구요. 그러나! 다소 급조한 듯한 이름과는 다르게 DINO는 객체 탐지 분야의 타 알고리즘과 비교했을 때 아주 혁신적인 실험 결과를 발표했습니다. 그 내용에 대해서 핵심 아이디어 및 모델 아키텍처를 소개드리겠습니다. Key Idea DINO..

시작 안녕하세요! 빅웨이브에이아이 선임 연구원 이우창입니다. 지난번에는 Neural Prophet 모델에 대한 전반적인 내용과 1-step 예측을 소개드렸습니다. 이번에는 기존에 포스팅한 Neural Prophet 모델에서 Multivariate 와 n-step 과정을 함께 사용한 ARX(Auto-Regression X) model과 같은 방법으로 예측 모형을 구축한 후 기존 모델과 비교하여 정확도가 얼마나 개선되었는지 확인 해보고자 합니다. 학습 및 예측하기 위한 예제를 직접 실행해보겠습니다. 소스코드는 아래의 URL을 참조하시면 될 것 같습니다! https://colab.research.google.com/drive/1BLyPyWe9RMm4v5oy8f_RMXeKKdjl0vb0?usp=sharing N..

시작 안녕하세요! 빅웨이브에이아이 선임 연구원 이우창입니다. 지난번에는 Neural Prophet 모델에 대한 전반적인 내용을 소개드렸습니다. 이번에는 Neural Prophet 모델에서 AR(Auto Regression) 과정을 통해 1-step에 대한 데이터를 예측하기위해 학습 및 예측하기 위한 예제를 직접 실행해보겠습니다. 소스코드는 아래의 URL을 참조해주시면 됩니다. https://colab.research.google.com/drive/1JoLECBglOebwh_JfyXle43QQMOSQWrkx?usp=sharing NeuralProphet_Multivariate 1-step model2.ipynb Colaboratory notebook colab.research.google.com 패키지 및..

시작 안녕하세요! 빅웨이브 이현상입니다. 저희 팀에서는 일주일에 한번(수요일) 기술 리뷰를 진행하는데요, 최근 사업에서 시계열(Timeseries) 분석 분야에 대한 수요가 많이 존재하여 이의 SOTA 알고리즘을 소개드리고자 합니다! 기존 포스트에서는 미래에 미리 알고있는 변수를 트랜스포머 구조에서 디코더에 입력하는 TFT(Temporal Fusion Transformer) 모델에 대해서 설명드렸습니다. TFT는 2019년에 발표된 논문으로 그 후 우수한 성능의 모델들이 다수 등장했습니다! 그 중 단변량 시계열 예측에서 우수한 성능을 나타내는 SCINet을 소개합니다. SCINet 시계열 예측 분야는 일반적으로 다변량 및 단변량 문제를 구분합니다. 단변량이라는 것은 변수를 하나로 설정하여 미래 시점의 변..

시작 안녕하세요! 빅웨이브에이아이 선임 연구원 이현상입니다. 지난번에는 페이스북(현 메타)의 Neural Prophet의 간단한 개념과 베이스라인 코드를 소개드렸습니다. 간단하게 단변량 학습으로 1시점 뒤의 값을 예측하는 코드였습니다. 이번에는 Neural Prophet으로 다변량(Multivariate) 학습 및 다시점 예측 예제를 직접 실행해보겠습니다! 소스코드는 아래의 URL을 참조하시면 됩니다! https://colab.research.google.com/drive/13B0TyasngCzZAVP1vVIvfZusYwVUPJGx?usp=sharing NeuralProphet_Multivariate.ipynb Colaboratory notebook colab.research.google.com 패키지 ..

시작 안녕하세요 ! 빅웨이브에이아이 이병우입니다. 오늘 여러분들께 소개드릴 내용은 바로 페이스북(현 메타)에서 개발한 시계열 예측 패키지인 Neural Prophet 입니다. 데이터 분석에서 빠질 수 없는 것 중 하나가 바로 시계열 분석이죠! 시계열 분석이란 주가, 에너지 사용량 등 시간적인 속성을 가지고 있는 데이터를 분석(예측)하는 것을 의미합니다. 하지만 시계열 분석은 아주 까다로운 분석입니다. 장기적인 관점에서 예측 시 활용할 수 있는 데이터에 한계점이 있기 때문입니다. 이런 까다로운 시계열 분석을 쉽게 할 수 있는 패키지로 Prophet이라는 것이 있었습니다. 하지만 데이터의 비선형적인 요소 및 연속함수의 특징들을 반영하거나 시계열 데이터의 패턴 변동성이 큰 부분들을 반영하기에는 부족한 패키지였..