네이버 DSC 2019 예선 과제 후기

올해 네이버 DSC2019를 참여하면서 겪은 느낀 점을 적은 글입니다. 혹시 문제가 생긴다면 내리거나 수정하도록 하겠습니다.

 

내년에 혹시 DSC2020이 열리게 된다면 꼭 참여하세요! 비전공자도 할 수 있습니다…!

 

https://www.edwith.org/dsc2019/lecture/40941/

[LECTURE] Data Science Competition 2019 : edwith

 

2018년도 군대를 전역하고 얼마 안 되고 네이버 DSC2018(Data Science Competition 2018)가 열리는 것을 보았다. 당시 예선에서는 팀을 이루고, 제공해주는 데이터를 이용해서 분석을 하거나, 원하는 데이터를 분석하는 게 주제였는데, 데이터 분석이라는 개념도 모호했고, 어떻게 분석해야 하는지조차 감이 오지 않아 신청만 하고 참여는 하지 않았다.

 

이후 혼자서 통계, 머신러닝 강의를 들으면서 공부했고, 그러던 2019년 어느 날 작년보다 일찍 3월 정도에 네이버에서 DSC2019를 주체하는 것을 보고 참여하게 되었다. 공부 이후 제대로 된 분석을 해보는 것은 이번이 처음이었다.

“데이터과학에 관심 있는 창의적이고, 열정적인 당신을 초대합니다”라는 글자와 함께 지원조건이 “관심 있는 누구나 참여 가능”이었기 때문에, 이번에는 최선을 다해보자는 각오로 지원을 하게 되었다. 처음 지원을 하게 되면, edwith.org 라는 사이트에서 온라인 강의를 추천해준다. 꽤 괜찮은 강의도 많이 있고, 난이도도 여러 개로 나뉘어 있어서 대회가 마무리된 아직까지도 종종 듣고 있다.

 

온라인 강의 이후 1~2 개월 후 예선 주제가 주어지는데, 이번 주제는 제공해주는 금융데이터를 이용해서 원하는 대로 분석을 하는 것이었는데, 처음 데이터셋을 받고서 어떤 데이터를 어떻게 분석을 시작해야 할지 감이 오지 않았다. 일단 분석을 위해서는 금융에 대한 전반적인 지식이 필요하다고 생각하여, 며칠 동안 금융과 머신러닝을 결합한 여러 분석 방법들을 찾아보았는데, 대부분 금융 투자 방식들에 대해서 분석한 뒤 주식, 주가 예측이 가장 많았다.

 

처음에 주제를 정할 때 “수익률이 무조건 높게 나는 주식투자 기법”을 할까, “오를 수밖에 없는 주식 투자 패턴을 찾아볼까” 고민을 많이 했는데, 너무 뻔하기도 하고, 창의성을 요구하는 대회이기 때문에 거리가 멀다고 생각하여 다른 주제를 찾아보게 되었는데, 이러한 생각 덕분에 예선 통과를 할 수 있지 않았나 생각한다.

 

이번 예선은 외부 공공데이터도 사용할 수 있다고 하여, 금융데이터 + 공공데이터를 고민하던 중, 밥 먹다가 뉴스에 기름값과 관련 내용이 나오는 것을 보고 유가 데이터를 이용하여 주제를 선정하게 되었다. 실제 전처리와 분석한 시간을 포함해도 주제 생각했던 시간이 제일 길었던 거 같다.

 

지역별 유가 가격 데이터는 오피넷에서 가져왔고, 제공받은 금융 데이터의 유가 선물 옵션 가격을 통해, 국제 유가가 국내에서는 얼마 만에 반영되는지 분석을 했다. 이때 통계 기법을 어떤 것을 써야 되는지, 분석은 어떻게 해야 하는지, 찾느라 힘들었던 기억이 있다. 통계 기법에 대해 잘 몰랐고 내가 분석에 사용한 교차 상관이나 피어슨 상관계수에 대해서도 처음 접해봤으니, 어떻게 풀어써야 할지도 막막했다. 그래도 일단 근거가 있는 설명과 함께 제출을 목표로 만들어 봤다.

 

단순하게 시각화시켜서 누구나 쉽게 이해하는 것을 목표로 잡았고, 히트맵을 사용해 지역별로 유가 데이터가 변하는 시간을 시각화시켜서 제출했다. 분량은 A4용지 2페이지 내였는데, 이건 대회마다 바뀌는 거 같다.