Wiki spuštěna 24. 7. 2025

Počítání Cohenovy kappy

  • Nejdříve připravíme vstupní soubory. Ty se vyrábějí ze souborů v adresářích csts-export a csts-import-done. Výsledný soubor má formát tvaru
    anot1<TAB>anot2<TAB>offer1<SPACE>offer2...

    a uchovává se v adresáři vert-kappa.

  • Soubory v adresáři vert-kappa mají jméno tvaru <filename>-AB-XY, kde AB a XY jsou iniciály anotátora.
  • Výroba souborů ve vert-kappa:
    cd csts-export
    merge-kappa.sh

    kde program merge-kappa.sh spouští csts_vert_annot.pl a csts_vert_kappa.pl, který vybírá anotátorovu volbu z nabídky a převádí formát csts do vert. Tyto programy jsou umístěny v asresáři ~/bin[/cohen-kappa].

  • Kappa se spočítá takto:
    cd ../vert-kappa
    for suff in $(ls *-??-?? | cut -f2- -d'-' | sort -u); do echo -n "$suff "; cat *-$suff | count-kappa-n.pl; done

QR Code
QR Code wiki:user:skoumal:kappa (generated for current page)