캐글 포트폴리오 만들기: 등급과 메달로 증명하는 나의 실력

『 '데이널'의 컨텐츠에 포함된 정보는? 』

 

캐글은 데이터 분석의 실무를 경험하고 싶은 사람에게 추천하곤 합니다.

 
Kaggle(이하 캐글)에서는 전 세계의 데이터 분석가들이 모여 문제를 해결하기 위해 경쟁을 합니다. 그 과정 속에서 서로의 아이디어를 공유하며 성장해 나가죠.
 
그런데 어떻게 시작해야 할지, 어떻게 하면 잘할 수 있을지 고민되시죠? 지금부터 캐글의 시스템부터 시작해서 어떻게 하면 캐글 마스터가 될 수 있는지, 그리고 실제 대회에서 살아남는 방법까지 함께 알아보시죠.
 

kaggle 포트폴리어 만들기

 

캐글 등급 및 메달 완벽 정복

게임에서 레벨업을 해 본 적 있으시죠?

 
캐글은 여러분의 활동과 성과에 따라 등급과 메달을 부여합니다. 등급은 총 4가지인데요. 여러분이 처음 가입하면 Novice 등급입니다. 그리고 Contributor(기여자), Expert(전문가), Master(마스터)로 올라갈 수 있죠.
 
메달은 Gold, Silver, Bronze 3 종류가 있습니다. 그리고 이 메달들은 Competition, Dataset, Notebooks, Discussion 등 네 가지 카테고리에서 활동으로 획득할 수 있습니다. 예를 들어, 대회에서 상위 몇% 안에 들면 메달을 받을 수 있습니다. 아래 %가 정확하지는 않지만 이런 식입니다. 

Gold 메달	Silver 메달	Bronze 메달
상위 5%	상위 10%	상위 25%

 
 
제 지인의 경우에도 대회에 참여해서 동메달을 땄습니다. 그리고 자신이 만든 데이터셋을 공유해서 또 다른 동메달을 얻었죠. 이렇게 조금씩 활동을 하다 보니 어느새 Contributor 등급이 되었더라고요.
 
사실 등급과 메달을 올리는 것이 그렇게 쉬운 건 아니에요. 어느 정도 실력과 경험을 객관적으로 증명해야 가능합니다. 그래서 취업할 때 이력서에 경험으로 넣어 놓으면 도움이 됩니다.
 

캐글 효과적인 학습 로드맵

어떻게 시작해야 할지 모르겠다고요? 

 
먼저, 기초부터 시작하는 것이 좋습니다. 파이썬이나 R 같은 프로그래밍 언어는 기본입니다. 그리고 통계와 머신러닝의 기본 개념을 이해하는 것도 중요합니다. 이런 부분이 어느 정도 되었다면 그다음은 실전입니다. 
 
우선 메뉴에서 Competitions 누르면, Get Started의 New to Kaggles? 부분이 보입니다. 처음 시작하는 사용자들을 위해 참가해 보기 좋은 대회들을 모아 놓아 부분입니다. 튜토리얼 같은 거예요.
 

캐글 Competitions 화면

 
처음에는 가장 앞부분의  '타이타닉 생존자 예측'이라는 컨피티션부터 해 보는 것을 추천합니다. 이 문제는 타이타닉 호의 승객 정보를 바탕으로 누가 살아남았는지 예측하는 것입니다. 
 
튜토리얼 컨피티션을 어느 정도 완료하셨다면 상금이 있는 대회에도 참여하시면 됩니다. 대회를 참가해 다른 사람들의 코드를 보고 배울 수 있습니다. 예를 들어, 상위 랭커의 노트북을 분석해 보면 새로운 기술을 배울 수 있어요.
 
 

데이터 분석가를 위한 캐글 활용 가이드

어떻게 하면 캐글을 제대로 활용할 수 있을까요?

 
캐글은 데이터 과학 분야의 '지식 창고'라 할 수 있는데요. 하지만 잘 활용하는 사람에게만 그 지식을 얻어갈 수 있습니다. 다음 네 가지로 활용 할 수 있습니다.  
 
첫째, 다양한 데이터셋과 비즈니스 문제를 접할 수 있습니다. 예를 들어, 집값 예측부터 이미지 분류까지 실제 세계의 다양한 문제를 다룰 수 있죠. 내가 배운 분석 기술을 여러 분야에 적용해 볼 수 있습니다.
 
둘째, 최신 트렌드를 파악하기 좋습니다. 다른 데이터 사이언티스트들이 어떤 기술과 도구를 사용하는지 볼 수 있기 때문인데요. 예를 들어, 요즘에는 XGBoost나 BERT 같은 고급 알고리즘들이 대세라는 것을 알 수 있죠.
 
셋째, 캐글은 네트워킹의 장입니다. 토론 섹션에서 다른 참가자들과 아이디어를 교환할 수 있기 때문에 그 들의 사고와 경험을 나눌 수 있습니다. 
 
넷째, 자신의 포트폴리오를 만들기 좋습니다. 여러분이 만든 노트북이나 획득한 메달은 모두 실력을 증명하는 자료가 됩니다. 취업할 때 이런 포트폴리오가 있으면 면접관들이 더 좋은 점수를 줍니다.
 

캐글 경진대회 생존기

Competition은 정글과 같습니다.

 
상금이 높을수록 치열하지만 그만큼 배울 것도 많습니다. 이 정글에서 살아남기 위해 몇 가지 팁이 있습니다. 

1. 팀원을 구하자.
우선 목적이 같고 마음이 잘 맞는 팀원을 찾아야 합니다. 이유는 혼자하는 것보다 팀으로 하는 것이 더 성능 좋은 모델을 말들 수 있기 때문이죠. 개인적으로 ’캐글코리아 카카오톡 오픈채팅방‘에서 구하는 것을 추천합니다.
 
2. 문제를 제대로 이해하자.
대회 설명을 꼼꼼히 읽고, 평가 지표도 정확히 확인해야 합니다. 예를 들어, 정확도(Accuracy)를 평가하는 대회인지 아니면 ROC 곡선 아래 면적(AUC)을 평가하는 대회인지에 따라 접근 방식이 달라질 수 있습니다.
 
3. 데이터를 철저히 분석하자.
데이터의 특성을 이해하는 것이 핵심입니다. 예를 들어, 결측치가 많은지, 이상치는 없는지 확인해 보세요. 그리고 다른 외부 데이터와의 결합도 고려해서 정확도를 개선하는 팁도 있습니다. 
 
4. Base 모델부터 점진적으로 개선하자.
처음부터 복잡한 모델을 만들려고 하지 않는 게 좋습니다. 왜냐하면, 간단한 모델로 시작해야 조금씩 개선해 나가기 편합니다. 예를 들어, 선형 회귀부터 시작해서 랜덤 포레스트, 그리고 딥러닝까지 단계적으로 발전시켜 나갈 수 있습니다.
 
5. 다른 참가자들의 Notebooks을 참고하자.
물론 남의 코드를 단순히 복사하는 것은 안 됩니다. 이해하고 내 방식으로 응용하는 것이 중요합니다. 예를 들어, 다른 사람의 전처리 방법을 보고 아이디어를 얻어 자신만의 방식으로 발전시킬 수 있겠죠.
 
마지막으로 시작했으면 끝까지 하시기 바랍니다. 대회는 길고 힘들 다고 중간에 그만두는 경우가 많습니다. 하지만 끝까지 참여하다 보면 반드시 무언가를 배우게 될 거예요.

제가 경험했던 바로는 순위보다는 이 과정에서 얻는 경험과 지식이 더 값진 것 같습니다.

 

캐글 대회 우승

 

마치며

캐글 사이트가 영어로 되어 있어 처음에는 복잡하고 어려워 보였지 않았나요? 이제 알고 보니 조금 더 친숙하게 느껴지지 않나 생각합니다.
 
캐글 대회지만 중요한 건 등급이나 메달은 아닙니다. 스스로 얼마나 배우고 성장했는지가 진짜 중요한 거죠. 그리고 데이터 사이언티스트들과 소통 할 수 있다는 점이 좋았습니다.
 
자, 이제 여러분도 캐글에 도전해 보세요. 파이팅!