넘블 리서치

챌린지 프로세스

챌린지 평가방법

1. 넘블측에서는 챌린지마다 3명의 실무자를 평가자로 모십니다.

실무자는 공정한 평가를 위해 해당 챌린지랑 관련있는 분야에서 3년이상 경험이 있는 실무자들을 모십니다.

2. 3명의 실무자분들은 각자 전체 결과물 중 1, 2, 3등을 뽑아 5점, 3점, 1점씩 점수를 부여합니다.

전체 점수는 27점입니다.
점수를 받는 결과물은 최소 3개, 최대 9개입니다.

3. 실무자분들의 점수를 1점 이상 받은 결과물들을 추려 참여자분들끼리 투표를 진행합니다.

투표는 평가자분들과 동일하게 1, 2, 3등을 뽑아 5점, 3점, 1점씩 점수를 부여합니다.
단, 투표의 신뢰도를 위해 투표시 2줄 이상의 피드백을 함께 주어야 합니다. 투표 및 피드백을 완료한 참여자분들께 스타벅스 커피쿠폰을 지급합니다.
이 때, 5명 이상이 투표에 참여하지 않을 경우에는 참여자분들의 투표는 점수 합계에서 제외합니다.

4. 호스트 역시 전체 결과물 중 1, 2, 3등을 뽑아 5점, 3점, 1점씩 점수를 부여합니다.

5. 평가자분, 참여자분, 호스트의 점수를 종합해 최종 1, 2, 3등을 선점합니다.

만약 평가자 5:참여자 3:호스트 2의 기준으로 평가한다고 할 때, 총 100점 만점에 평가단은 50점 만점, 참여자는 30점 만점, 호스트는 20점 만점의 점수를 가집니다.
만약 a라는 결과물이 평가단에게 15점을 받고, n명의 참여자들이 투표한 점수에서 19점을 받았고, 호스트에게는 3점을 받았다면 15점*(50점/(9*3)점)+19점*(30점/(9*n)점)+3점*(20점/(9*1)점) = 27.8+19점*(30점/(9*n)점)+6.7 을 받은것과 마찬가지입니다.
이런식으로 점수를 비교해 최종 1, 2, 3등을 선정합니다.
TOP