딥러닝 기술을 활용한 악성 댓글 분류 (2020 인공지능 온라인 경진대회 1등)

 

안녕하세요! 빅웨이브에이아이 선임 연구원 이현상입니다.

오늘의 포스트 주제는 2020 인공지능 온라인 경진대회에서 빅웨이브 팀이 악성 댓글 분류 부문 1등을 달성했던 딥러닝 모델링에 대한 것입니다.

2020 인공지능 온라인 경진대회는 과학기술정보통신부를 주최로 다양한 주제에 대한 인공지능 모델의 성능을 평가하는 대회입니다.

총 400팀의 대학생, 대학원생, 연구소, 기업 등 다양한 소속의 인원들이 이 경진대회에 참가했습니다.

경진대회에서 우수한 성과를 낼 수 있다면 사업화 지원금 총 1.6억을 지원받을 수 있기 때문에 경쟁 수준이 상당히 치열했던 것으로 기억합니다.

2020 인공지능 온라인 경진대회 소개글, 출처: http://aifactory.space/aichallenge/

 

빅웨이브 팀은 총 5명으로 구성되어 악성 댓글 분류, 태양입자유입(Proton Flux) 양상 예측, 일부 구간 통행량 예측 task에 참가했습니다.

악성 댓글 분류 분야 1위, Proton 예측 분야 6위, 교통량 예측 분야 5위로 400팀 중 종합 순위 10위를 기록했습니다.

2020 인공지능 온라인 경진대회를 계기로 (주)빅웨이브에이아이 법인이 설립되었습니다.

여담으로 말씀드리자면, 최근 대화형 챗봇으로 화제가 되었던 "이루다"를 개발한 스캐터랩의 핑퐁 팀도 악성 댓글 분류 task에 참가했습니다.

그만큼 우수한 기술을 가지고 있는 기업들이 다수 참가하여 경진대회의 수준이 매우 높았죠.

 

2020 인공지능 온라인 경진대회, 출처: http://aifactory.space/aichallenge/total/search

 

본 악성 댓글 분류 모델은 크게 3가지 포인트를 활용하여 예측 모델의 성능을 크게 향상시켰습니다.

1. Kim-CNN

2. Highway Network

3. OOV Process

하나씩 알아보겠습니다.

1. Kim-CNN

CNN(Convolutional Neural Network)이란 이미지 데이터를 분석하기 위해서 공간 정보를 유지하면서 학습할 수 있는 딥러닝 기법입니다.

일반적으로는 이미지 분야에 활용되는 기법이지만 텍스트 분류를 위해서 개발된 알고리즘이 바로 "Kim-CNN" 입니다.

Kim. (2014)의 논문은 CNN을 텍스트 분류를 하기 위한 아키텍처를 구성했으며 피인용횟수가 무려 10238회에 달하는 획기적인 논문이었습니다.

현재 CNN 기반 텍스트 분류 분야에서는 대부분 이 알고리즘을 활용하여 수행되고 있습니다.

빅웨이브 팀도 이 Kim-CNN을 활용했으며 실제 경진대회 시 기본 모델에서 성능을 향상시키기 매우 어려웠을 만큼 우수한 기법입니다.

원리를 간단하게 설명드리면 텍스트의 문장 데이터를 2차원으로 구성하여 여러 n-gram 형태의 필터를 통해 학습하는 방식입니다.

이미지와 같이 문장을 2차원으로 구성했기 때문에 텍스트 데이터의 구조를 반영해서 문장 맥락에 맞는 분류 task를 수행할 수 있습니다.

 

출처: Kim, Y. (2014). "Convolutional neural networks for sentence classification." arXiv preprint arXiv:1408.5882.

2. Highway Network

하이웨이 네트워크는 LSTM(Long Short-Term Memory)의 gating unit 아이디어를 활용하여 입력 데이터의 신호를 모델의 학습 결과 값에 반영하여 과적합을 방지하는 기법입니다.

쉽게 설명하면 딥러닝 모델이 매우 복잡한 경우 입력 데이터의 신호가 희미해지는 경우가 있는데, 이를 직접 연결함으로써 모델의 성능을 향상시킬 수 있다는 것입니다.

구체적으로 말씀드리면 비선형 변환 게이트인 T와 비선형 통과 게이트인 C를 가지고 T 게이트가 1일 경우 모델이 학습한 값을 기반으로 최종 값을 산출하고 0일 경우에는 입력 데이터가 최종 값에 그대로 반영됩니다.

출처: Srivastava, R. K., et al. (2015). "Highway networks." arXiv preprint arXiv:1505.00387.

3. OOV Process

OOV(Out of Vocabulary)란 사전 외 어휘를 의미하며 텍스트 분류 task에서는 학습 데이터에 포함되지 않은 테스트 데이터의 단어로 정의됩니다.

OOV들은 텍스트 분류 모델의 성능을 떨어트리는 원인이 됩니다.

빅웨이브 팀은 이 문제를 해결하기 위해 고민했고, 결과적으로 word2vec 기반 워드 임베딩 기법을 활용했습니다.

word2vec이란 여러 문장 내의 중심 단어들을 기준으로 그 주위에 어떤 단어들이 출현하는 지 학습을 통해 예측하는 기법입니다.

word2vec 기법을 통해 단어 간의 유사도를 측정하여 OOV 문제를 해결하는 방식으로 모델의 성능을 향상시켰습니다.

출처: Mikolov, T., et al. (2013). "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781.

데이터

2020 인공지능 온라인 경진대회의 18번 과제는 인터넷 뉴스의 악성 댓글을 필터링 할 수 있도록 분류 모델을 개발하는 주제였습니다.

최근 연예인들의 악성 댓글 문제의 심각성이 화제가 되기도 했었죠, 꼭 근절되어야할 문제입니다.

총 데이터 수는 8,878개로 학습 데이터 7,867개, 검증 데이터 500개, 테스트 데이터 511개로 구성되어 있습니다.

데이터의 클래스는 차별(Bias) 및 혐오(Hate)의 기준으로 이루어져 있으며 각 분류 기준당 3개의 클래스를 가지고 있습니다.

데이터의 분류 기준이 주관적이기 때문에 모델의 성능 수준이 크게 높아지기 어려운 구조입니다.

특히 혐오 클래스의 경우 비난의 강도를 설정했기 때문에 더욱 어려운 분류 task가 될 수 있습니다.

위의 데이터의 예시를 보면 일반적인 댓글들과 악성 댓글의 형태를 볼 수 있고 클래스가 어떻게 레이블링 되는지 확인할 수 있습니다.

데이터의 일부만 보여드렸지만 굉장히 강한 수위를 가지고 있는 댓글들이 많습니다.. 보기가 힘들 정도군요.

이제 제안 기법들과 데이터를 가지고 어떻게 모델링을 했는지 알아보겠습니다.

모델링

위의 3가지 기술들을 활용하여 다음과 같이 모델링을 진행했습니다.

 

 

 

순서에 맞춰서 설명을 해드리겠습니다.

1. 인터넷 뉴스 댓글 데이터를 전처리하고 Word2Vec으로 학습

2. 딥러닝 모델에 벡터 형태로 워드 임베딩

3. kim-CNN 아키텍처를 기반하는 딥러닝 모델로 각각의 클래스를 이진 분류로 학습

4. 하이웨이 네트워크를 활용하여 잔차 연결(residual connection)

5. 결과 통합 후 최종 예측

복잡해보이지만 전체적인 구조는 생각보다 단순하게 구성되어 있습니다.

일반적인 CNN 텍스트 분류 모델에 word2vec와 하이웨이 네트워크 기법을 적용했다고 보시면 됩니다.

외부 리소스를 활용할 수 없다는 경진대회 규정이 있기 때문에 BERT나 다른 사전학습된 워드 임베딩은 활용할 수 없었습니다.

분석 결과

최종적으로 빅웨이브 팀의 테스트 결과는 가중 평균 f1 score 기준 67.49%로 악성 댓글 부문 1위를 차지했습니다!

f1 score란 정확도 개념으로 클래스에 대한 데이터의 분포가 편중되어 있는 상황에서도 일관적인 결과를 보여줍니다.

67.49%의 수치가 낮아보일수도 있지만 외부 데이터를 활용하지 못하는 상황, 그리고 분류 기준의 모호함으로 인해 모델의 성능을 크게 향상시키는 것은 어려웠습니다.

딥러닝 모델이 예측한 결과 값을 보면 문장의 맥락을 잘 고려하여 분류하는 모습을 보입니다.

마무리

오늘은 2020 인공지능 경진대회의 18번 task 주제인 악성 댓글 분류에 대한 내용을 리뷰했습니다.

최근 연예인 관련 이슈들이 있었던 만큼 강력한 제재 시스템이 필요한 상황입니다.

빅웨이브 팀은 이러한 이슈를 해결하기 위해 데이터베이스를 구축하고 딥러닝 기반 모델링을 고도화하는 중입니다.

우리의 솔루션을 통해 모든 사람들이 건전한 인터넷 문화를 즐길 수 있기를 기대합니다.

위의 포스트 내용은 논문으로도 게재가 되어있으니 자세한 사항이 궁금하신 분들은 확인해보시길 바랍니다.

이현상, 이희준, & 오세환. (2020). 하이웨이 네트워크 기반 CNN 모델링 및 사전 외 어휘 처리 기술을 활용한 악성 댓글 분류 연구. 정보시스템연구, 29(3), 103-117.

읽어주셔서 감사합니다!

다음 포스트는 빅웨이브에이아이에서 직접 데이터베이스를 구축하여 모델링을 고도화한 사례를 주제로 찾아뵙겠습니다.