wiki:user:skoumal:taggers - Dokuwiki anotační sekce ČNK

Wiki spuštěna 24. 7. 2025

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.

====== Kombinování stochastických a pravidlových taggerů ======

===== Extrakce POS ze tří taggerů =====

  * vytvořit vertikály od všech taggerů: ''vert-morf-tag'', ''vert-HMM'' a ''vert-tagjh''
  * v adresáři ''POS'' vytvořit sloupce s ''POS'' (v případě ''SUBPOS'' použít ''cut -b1-2''):<code>$ cd vert-morf-tag
$ for ff in *; do cut -f2 -d" " $ff | cut -b1 > ../POS/morce-$ff; done
$ cd ../vert-tagjh
$ for ff in *; do cut -f2 -d" " $ff | cut -b1 > ../POS/tagjh-$ff; done
$ cd ../vert-HMM
$ for ff in *; do cut -f2 -d" " $ff | cut -b1 > ../POS/HMM-$ff; done</code>
  * postupně mergeovat výstupy ze dvou taggerů:<code>$ cd POS
$ for ff in HMM-*; do paste $ff tagjh${ff#HMM} | diff-POS.sh > tagjh-$ff; done
$ for ff in tagjh-HMM-*; do paste $ff morce${ff#tagjh-HMM} | diff-POS.sh > morce-$ff; done</code>
  * v adresáři ''POS-morf'' vytvořit morfologické soubory s informací o POS:<code>$ cd vert-morf
$ for ff in *; do paste ../POS/morce-tagjh-HMM-$ff <(odlep-tecky.sh < $ff) > ../POS-morf/$ff; done</code>
  * vytvořit nové morfologické soubory ve ''vert-morfPOS'':<code>$ cd POS-morf
$ for ff in *; do filter-POS.pl < $ff > ../vert-morfPOS/$ff; done</code>
  * pokračovat klasicky od ''rules'' až po ''tag''

===== Měření recallu =====

  * provést desambiguaci k určitému kroku (''morf'', ''rules'', ''frazrl'', ''rulh1''), případně odfiltrovat tagy podle ''POS'' nebo ''SUBPOS''
  * pokračovat podle [[wiki:user:skoumal:compare#porovnani_mnoha_tagu_ze_2_zdroju|]], nalevo je ''PDT-postmorfo''

Trace: • utkl • wrap • intercorp • forms • synt-kolok • navigation • utf8

Navigation

Search

Toolbox

QR Code