심사닷컴사용방법
매뉴얼활용 시나리오
매뉴얼 PDF 다운받기
매뉴얼활용 시나리오
시작하기
  • 참가자 모집
  • 모집 페이지 이용권
  • 심사 생성
  • 심사 시리즈
  • 참가자 등록
  • 참가자 과제 제출
  • 참가자 상호평가
  • 심사위원 등록
  • 심사위원 그룹 (가중치)
  • 서약서 항목 설정
  • 심사위원 접속링크 발송
  • 접속 보안 옵션 (인증 모드)
  • 심사위원 풀 관리
  • 심사위원 일괄 관리
  • 심사항목 설정
  • 그룹별 심사표
  • 과제(요구사항) 설정
  • 운영자 심사자료 등록
  • 진행 점검
  • 현장 심사관리
  • 참가자 관리
  • 방청객 관리 (응원채팅)
  • 온라인 심사
  • 심사위원 채점
  • 결과 확인 및 발표
  • 결과 프리젠테이션
  • 심사결과 Report
  • 운영 알림 센터에서 보내기
  • 명단에서 골라 보내기
  • 종이 심사표 출력
  • 심사위원 명패·참가자 명찰 출력
  • 템플릿 설정
  • 내 계정·설정

소요 5분·구독 중인 요금제 필요·PDF 만드는 동안 창 닫지 않기

결과 보고서 내려받기

심사가 끝나면 결과를 엑셀 표(XLSX)나 PDF 공식 보고서로 받아 외부 보고·후원사 제출·보관에 써요. 받는 곳은 심사 상세의 [결과/리포트] 탭 한 군데예요.

이럴 때 쓰세요

  • •주최 기관·후원사에 결과 보고를 해야 할 때
  • •참가자별·심사위원별 원점수를 엑셀로 정리할 때
  • •이의제기에 근거 자료로 답해야 할 때

끝나면XLSX 결과 데이터와 표지부터 부록까지 갖춘 PDF 보고서가 내 컴퓨터에 저장됩니다.

  1. 1

    결과/리포트 탭 열기

    결과 파일은 모두 심사 상세의 맨 오른쪽 탭에서 받아요.
    1. 1왼쪽 메뉴에서 [심사 운영] › [단일심사]를 누르고 심사를 엽니다.
    2. 2위쪽 탭 줄 맨 오른쪽 [결과/리포트]를 누릅니다.
    3. 3「파일 다운로드」에서 결과 데이터(XLSX)와 PDF 리포트 카드를 확인합니다.

    ✓[XLSX 다운로드], [미리보기], [PDF 리포트 다운로드] 버튼이 보입니다.

    심사 상세 [결과/리포트] 탭 — 결과 데이터(XLSX) · PDF 리포트 카드
    심사 상세 [결과/리포트] 탭 — 결과 데이터(XLSX) · PDF 리포트 카드
    세 개의 버튼 — ① [XLSX 다운로드] ② [미리보기] ③ [PDF 리포트 다운로드]
    세 개의 버튼 — ① [XLSX 다운로드] ② [미리보기] ③ [PDF 리포트 다운로드]
    시상 확정 전 — 「시상 확정 전 · 확정 전 임시 자료」 안내와 [임시 리포트 보기]
    시상 확정 전 — 「시상 확정 전 · 확정 전 임시 자료」 안내와 [임시 리포트 보기]
    Q「시상 확정 전 · 확정 전 임시 자료」 안내가 붙어 있어요

    아직 시상을 확정하지 않아 임시 자료로 만들어져요. 결과·시상 탭에서 [최종 시상 확정 완료]를 누르면 확정본을 받을 수 있어요.

  2. 2

    XLSX 결과 데이터 받기

    참가자별 항목 점수와 합계를 엑셀에서 바로 다룰 때 써요.
    1. 1[XLSX 다운로드]를 누릅니다.
    2. 2「결과 데이터 다운로드」 창에서 확정 내역을 고릅니다.
    3. 3필요한 파일을 누릅니다: [심사위원별 평가결과](심사위원 × 참가자 항목별 원점수), [최종 점수 산출 내역](심사위원별 합계 → 그룹 평균·비중 반영 → 최종 점수), [참가자별 평가결과], [응원 댓글].

    ✓고른 XLSX 파일이 내려받아지고 Excel·Numbers에서 그대로 열립니다.

    XLSX 결과 데이터 받기
    결과 데이터 다운로드 — 확정 내역 선택 후 4종 XLSX
  3. 3

    PDF 보고서 미리 보고 저장하기

    PDF는 브라우저 안에서 만들어지니, 미리보기로 확인한 뒤 저장해요.
    1. 1가장 최근 확정본을 보려면 [미리보기]를 누릅니다.
    2. 2다른 확정 시점을 보려면 [PDF 리포트 다운로드]를 누르고 확정 내역을 고른 뒤 [상세 리포트 보기]를 누릅니다.
    3. 3「결과 보고서 미리보기」 창에서 페이지를 넘겨 내용을 확인합니다.
    4. 4오른쪽 위 [다운로드]로 저장하거나 [새 탭]으로 크게 엽니다.

    ✓PDF 파일이 내 컴퓨터에 저장됩니다.

    !

    참가 팀과 심사위원이 많으면 몇 분 걸릴 수 있어요. 만드는 동안 창을 닫지 마세요.

    결과 Report 조회 — 확정 내역 선택 후 [상세 리포트 보기]
    결과 Report 조회 — 확정 내역 선택 후 [상세 리포트 보기]
    결과 보고서 미리보기 — 페이지를 넘겨 확인한 뒤 [다운로드] / [새 탭]
    결과 보고서 미리보기 — 페이지를 넘겨 확인한 뒤 [다운로드] / [새 탭]
    Q미리보기 창에 PDF가 안 보여요

    일부 모바일 브라우저는 PDF를 창 안에 보여 주지 못해요. 오른쪽 위 [다운로드]나 [새 탭]으로 여세요.

    Q「아직 채점된 점수가 없어」 안내가 떠요

    제출됐거나 모든 항목을 채운 점수가 없어서예요. 채점이 시작되면 그때까지의 점수로 임시 리포트를 볼 수 있어요.

  4. 4

    표지와 「한눈에 보는 결과」 보기

    등록·참가 현황과 집계 대상, 수상 내역을 한 장에서 확인하는 페이지예요.
    1. 1표지에서 심사명·일시·장소와 참가 팀 수·심사 항목 수·만점·집계 방식을 확인합니다.
    2. 2「한눈에 보는 결과」에서 등록·참가 확인·미참가·집계 대상 팀 수와 수상 명단을 확인합니다.
    3. 3점수 분포·항목별 평균·심사위원별 집계를 함께 확인합니다.

    ✓분석 대상과 확정 수상 내역이 구분되어 보입니다. 참가 현황은 확정 당시 기록을 기준으로 표시합니다.

    표지 — 등록·참가·미참가 현황 · 집계 기준
    표지 — 등록·참가·미참가 현황 · 집계 기준
    01. 한눈에 보는 결과 — 참가 현황 · 분포 · 수상 명단 · 항목·심사위원 집계
    01. 한눈에 보는 결과 — 참가 현황 · 분포 · 수상 명단 · 항목·심사위원 집계
  5. 5

    수상 결과와 전체 순위 보기

    「왜 이 팀이 대상인가」를 물을 때 그대로 펼쳐 보여 줄 수 있는 페이지예요.
    1. 1「수상 결과」에서 부문별 수상자, 상금·부상, 심사위원별 점수를 확인합니다.
    2. 2「수상자 항목별 프로파일」에서 수상자가 평균보다 앞선 항목을 확인합니다.
    3. 3「전체 순위」에서 집계 대상의 순위와 점수를 확인합니다. 미참가·수상 제외자는 집계에서 제외됩니다.

    ✓순위표에는 40팀까지 실리고, 그 이상은 XLSX 결과 데이터에서 확인합니다.

    03. 수상 결과 — 부문별 수상자 · 상금/부상 · 심사위원별 점수
    03. 수상 결과 — 부문별 수상자 · 상금/부상 · 심사위원별 점수
    05. 수상자 항목별 프로파일 — 평균 대비 강점을 표준편차 배수로
    05. 수상자 항목별 프로파일 — 평균 대비 강점을 표준편차 배수로
    06. 전체 순위 — 순위·팀명·점수·수상 등급
    06. 전체 순위 — 순위·팀명·점수·수상 등급
  6. 6

    참가·시상 특이사항 확인하기

    미참가·수상 제외·운영자 지정 수상의 근거를 별도로 확인하는 페이지예요.
    1. 1등록 팀 수에서 참가 확인·미참가·상태 미확인을 구분합니다. 점수 기록만으로 실제 참가를 추정하지 않습니다.
    2. 2미참가 외 수상 제외 명단에서 사유와 기록 점수를 확인합니다. 참가 확인 팀 수에 포함될 수 있으므로 별도로 더하지 않습니다.
    3. 3운영자 지정 수상자는 원점수·점수 순위를 바꾸지 않고, 확정 수상 등급과 지정 사유를 표시합니다.

    ✓가상 샘플은 등록 32팀, 참가 확인 29팀, 미참가 3팀, 미참가 외 수상 제외 2팀, 집계 대상 27팀입니다. 수상자 10팀 중 운영자 지정 2팀이 포함됩니다.

    04. 참가·시상 특이사항 — 미참가·제외 명단과 사유 · 운영자 지정 수상
    04. 참가·시상 특이사항 — 미참가·제외 명단과 사유 · 운영자 지정 수상
  7. 7

    점수 분포와 항목 변별력 보기

    다음 심사 기준을 손볼 때 근거로 쓰는 페이지예요.
    1. 1「최종 점수 분포」에서 평균·중앙값·표준편차와 히스토그램을 확인합니다.
    2. 2「항목별 분석 · 변별력」에서 순위를 가른 항목과 차이가 작았던 항목을 확인합니다.

    ✓항목마다 달성률·변동계수·변별력이 표로 보입니다. 그룹별 심사표를 써서 심사표가 2벌 이상이면 심사표마다 테두리 상자로 나뉘어요.

    07. 최종 점수 분포 — 실제 점수 구간별 히스토그램 · 평균·중앙값·표준편차
    07. 최종 점수 분포 — 실제 점수 구간별 히스토그램 · 평균·중앙값·표준편차
    08. 항목별 분석 · 변별력 — 달성률 · 변동계수 · 변별력 · 상위5-하위5와 읽는 법
    08. 항목별 분석 · 변별력 — 달성률 · 변동계수 · 변별력 · 상위5-하위5와 읽는 법
  8. 8

    심사위원 경향과 수상 경계 보기

    심사위원별 채점 경향과 수상 경계의 실제 점수 차를 확인하는 페이지예요.
    1. 1「심사위원별 점수 집계」에서 평균·표준편차·최고/최저 점수를 확인합니다.
    2. 2「심사위원 경향 · 일치도」에서 관대·엄격 경향과 Kendall's W 일치도를 확인합니다.
    3. 3「수상 경계 검토」에서 서로 다른 수상 등급 사이와 마지막 수상자의 점수 차를 확인합니다. 운영자 지정 내역은 별도로 읽습니다.

    ✓일치도는 산출 조건을 충족할 때 표시됩니다. 수상 경계 표는 점수 차와 지정 내역을 보여 주며, 결과가 안정적이라고 판정하지 않습니다.

    10. 심사위원별 점수 집계 — 이름 · 소속 · 평균 · 표준편차 · 최고/최저
    10. 심사위원별 점수 집계 — 이름 · 소속 · 평균 · 표준편차 · 최고/최저
    11. 심사위원 경향 · 일치도 — Kendall's W · 패널 대비 편차 · 순위상관과 표 읽는 법
    11. 심사위원 경향 · 일치도 — Kendall's W · 패널 대비 편차 · 순위상관과 표 읽는 법
    12. 수상 경계 검토 — 실제 수상 등급 경계의 점수 차와 지정 내역
    12. 수상 경계 검토 — 실제 수상 등급 경계의 점수 차와 지정 내역
  9. 9

    심사평과 동점 사례, 부록 보기

    숫자에 이견이 있을 때 확인할 곳이 보고서 뒷부분이에요.
    1. 1「심사평 모음」에서 팀별 심사평 원문을 확인합니다.
    2. 2「동점 · 근소 차이 · 특이사항」에서 0.5점 미만 차이 사례를 확인합니다.
    3. 3부록에서 계산 방법과 데이터 커버리지를 확인합니다. 「심사위원이 사용한 심사표」는 심사표가 2벌 이상이면 심사표마다 상자로 나뉘어요.

    ✓심사평이 수상 순서대로 원문 그대로 실려 있습니다.

    13. 심사평 모음 — 심사위원이 남긴 의견 원문
    13. 심사평 모음 — 심사위원이 남긴 의견 원문
    14. 동점 · 근소 차이 · 특이사항 — 운영 검토가 필요한 사례
    14. 동점 · 근소 차이 · 특이사항 — 운영 검토가 필요한 사례
  10. 다음 단계

    • 시상 결과 확정하기결과 확인 및 발표
    • 결과 안내 메시지 보내기운영 알림 센터에서 보내기
  11. ✓

    기억해 두세요

    • •PDF는 서버에 올리지 않고 내 브라우저 안에서 만들어져요.
    • •표본이 모자란 분석은 숫자를 지어내지 않고 필요 조건을 적어요. 심사위원 3명·참가 10팀 이상이면 대부분 채워져요.
    • •리포트는 시상 확정 시점 기준이에요. 다시 확정했다면 다시 받아야 최신이 돼요.
    • •항목별·심사위원별 원점수는 XLSX 결과 데이터에서 확인해요.
i

확정 전에도 [미리보기]로 임시 리포트를 볼 수 있어요. 발표 전에 한 번 확인하고, 확정 후 공식본을 다시 저장해 두세요.

비슷한 행사는 어떻게 운영했나요? 활용 시나리오

인쇄해서 보시려면 매뉴얼 PDF

설명이 부족했나요?

다른 기능이 궁금하면

목차