wiki:user:skoumal:etalon:morphodita - Dokuwiki anotační sekce ČNK

Wiki spuštěna 24. 7. 2025

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.

====== Trénovací korpus vytvořený z Etalonu ======

  * ''Etalon'' se nedá vzít, jak je. Od trénovacího korpusu se liší v těchto bodech:
    * Tagy mají 16 pozic.
    * Nejsou tam neznámá slova (**nevadí**).
    * Jsou tam provedené opravy, tzn. původní nabídka neobsahovala správné lemma a tag (**nevadí**).
    * Tagy jsou zjednodušeny.

===== Formát dat pro MorphoDiTu =====

  * ''csts''
  * Tagy mají 15 pozic
  * Trénování provedeme až po:
    * ''csts-morf''
    * ''csts-rules''
    * ''csts-rules-frazrl-rules1-rulh1''
  * Adresáře s hotovými daty:
    * ''csts-Etalon''
    * ''csts-rulh1''
===== Postup převodu Etalonu =====

  * Data jsou uložena v ''/home/skoumal/PROJEKTY/INFRASTRUKTURA/Etalon/Morphodita-train''.

==== Zpracování Etalonu pravidly ====

  * Nejdříve odstraníme z ''Etalonu'' lemmata a tagy:<code>mkdir vert
cd ../Verze/0.9/1
for ff in *; do cut -f1 $ff > ../../../Morphodita-train/vert/$ff; done</code>
  * Provedeme desambiguaci až po ''rulh1'':<code>
cd ../../../Morphodita-train
make-corp.sh -s vert -t csts -v -p45
screen make-corp.sh -s csts -t csts-morf -A0 -B0 -Eucs2 -M -v -p45
screen make-whole-corp-csts.sh -Eucs2 -M -p45 -v -Trulh1 -trules</code>
  * Zjednodušíme tagy a vyházíme duplicity:<code>mkdir csts-rulh1
cd csts-rules-frazrl-rules1-rulh1
for ff in *; do echo $ff; ../bin/80_simplify-tags.pl < $ff | ../bin/remove-dupl-csts-mark.pl h > ../csts-rulh1/${ff%.csts}; done</code>
<del><code>make-corp.sh -s csts-rules-frazrl-rules1-rulh1 -t vert-rules-frazrl-rules1-rulh1 -p45 -v
cd vert-rules-frazrl-rules1-rulh1
for ff in *.csts; do mv $ff ${ff%.csts}.vert; done
for ff in *.vert; do sed -i '1{/^$/d}' $ff; done</code></del>

==== Úprava Etalonu ====

  * Vytvoříme nový adresář ''vert-Etalon'' a do něj převedeme ''Etalon'' s tagy zkrácenými na 15:<code>cd .../Verze/0.9/1
for ff in *; do perl -pe 's/(\t.*)\t/$1 /' $ff | perl -pe 's/.$//' > ../../../Morphodita-train/vert-Etalon/$ff; done</code>
  * Převedeme do ''csts'':<code>make-corp.sh -s vert-Etalon -t csts-Etalon -v -p45</code>

==== Porovnání ====

  * Orientačně můžeme porovnat výsledky:<code>cd .../Morphodita-train
diff -y <(perl -pe 's/<f[^>]+>/<f>/' csts-Etalon/11minutX01) <(perl -pe 's/<f[^>]+>/<f>/' csts-rulh1/11minutX01.csts) | l</code>
  * anebo všechno:<code>cd csts-Etalon
for ff in *; do echo $ff; diff -y <(perl -pe 's/<f[^>]+>/<f>/' $ff) <(perl -pe 's/<f[^>]+>/<f>/' ../csts-rulh1/$ff); done | l</code>

Trace: • dovolena_2013 • chyby • instalace_morfologie • gacr09 • novy-jakobson • gacr24 • instalace_sw • dovolena_2012 • morphodita • vertikala

Navigation

Search

Toolbox

QR Code