Begrepet inter-rater reliabilitet beskriver mengden av avtalen mellom flere raters eller dommere. Ved hjelp av en inter-rater reliabilitet formel gir en konsistent måte å bestemme nivået på konsensus blant dommere. Dette tillater folk å måle hvor pålitelig både dommernes og karakterer at de gir er i en gitt situasjon. For lite konsensus indikerer ofte at de kriterier dommerne baserer sine karakterer må endres.

Bruksanvisning

•  Skriv inn karakterer inn i et tekstdokument. Hver vurdering bør innledes med en dommer identifikator for eksempel en dommer navn eller tallet. Et komma og et enkelt mellomrom bør skille denne dommeren identifikator fra rating, og hver vurdering bør oppta en ny linje. Hvis du har mer enn én vurdering per dommer, bør disse ekstra karakterer okkupere en ny linje også.
Eksempel:
Doug, 6
Doug, 7
Beth, 6
Sam, 9
Ben, 8

Lagre tekstdokument til datamaskinen.

Gå til Inter-rater Pålitelighet Kalkulator oppført i Resources.

Bla til midten av siden hvor det står "Angi tekstfil med vurderinger" og klikk på "Browse".

Velg tekstdokumentet du lagret i trinn 2.

Velg antall besvarere fra rullegardinmenyen ved siden av søkeknappen.

Klikk på send.

Tips og advarsler

• Påliteligheten av karakterer bør beregnes på et sted mellom 0 og 1, der 1 er en høy grad av pålitelighet og 0 er ingen pålitelighet.
• Ved å oversette kvalitative målinger (f.eks, dårlig, nøytral og god) til kvantitative seg (f.eks, 1, 2 og 3), kan du bruke samme metode for å måle den inter-rater reliabilitet av ikke-numeriske karakterer også.