wiki:user:skoumal:etalon:eval-korp - Dokuwiki anotační sekce ČNK

Wiki spuštěna 24. 7. 2025

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.

====== Příprava korpusu pro porovnání Etalonu s novou morfologií ======

  * Etalon je v adresáři ''~/PROJEKTY/INFRASTRUKTURA/Etalon/Verze/0.9/1'' (vertikála)
  * Texty nově projeté morfologií jsou na grimmovi v adresáři ''/store/corp/ETALON/Etalon-newmorph/csts-morf''
  * Vyrobíme další adresář ''vert-Etalon'' a do něj dáme upravené soubory z Etalonu:<code>
cd ~/PROJEKTY/INFRASTRUKTURA/Etalon/Verze/0.9/1
for ff in *; do perl -pe 's/\tXX--/\tF%--/' $ff | perl -pe 's/(\t([^\t\n])[^\t\n]+).$/$1\t$2/' \
> /store/corp/ETALON/Etalon-newmorph/vert-Etalon/$ff; done</code>které nemají vid, mají ''XX'' opravené na ''F%'' a mají sloupec s POS
  * Vyrobíme adresář ''csts-POS'', do kterého uložíme soubory zpracované novou morfologií:<code>
parallel-filter.sh \
-C "merge-lemmas.pl | remove-dupl-csts-mark.pl M | merge-tags.pl | merge-POS.pl" \
-p 45 -scsts-morf -t csts-POS -v</code>které mají scuknutá lemmata a tagy a mají tag ''<MMp>'' pro POS
  * Tyto soubory převedeme do vertikály:<code>
parallel-filter.sh \
-C "csts2cnk.pl | perl -pe 's/\tM<MMp>/<MMp>/' | perl -pe 's/<MMp>/\t/' | sed '1{/^$/d}'" \
-s csts-POS -t vert-POS -e -v -p45</code>které pak ještě přejmenujeme:<code>
cd vert-POS
for ff in *.csts; do mv $ff ${ff%.csts}; done</code>
  * Provedeme kontrolu, že jsou soubory ve ''vert-Etalon'' a ''vert-POS'' stejně dlouhé:<code>
for ff in *; do echo $ff; sdiff -s <(cut -f1 $ff) <(cut -f1 ../vert-Etalon/$ff); done | l</code>(měly by se lišit jen entity)
  * Sloučíme vertikály:<code>
mkdir vert-cmp
cd vert-Etalon
for ff in *; do echo $ff; paste $ff <(cut -f2- ../vert-POS/$ff) | compare-lemmas.pl \
> ../vert-cmp/$ff; done</code>
  * Ze souborů ve ''vert-cmp'' uděláme korpus (na chomském):<code>
cd /net/grimm/store/corp/ETALON/Etalon-newmorph
manatee-registry.sh -c . -f vert-cmp -t</code>definiční soubor:<code>
PATH  /net/chomsky/store/manatee-registry/Etalon-newmorph-cmp-data
ENCODING utf-8
INFO ""

ATTRIBUTE word {
  TYPE "FD_FGD"
}
ATTRIBUTE elemma {
  TYPE "FD_FGD"
}
ATTRIBUTE etag {
  TYPE "FD_FGD"
}
ATTRIBUTE epos {
  TYPE "FD_FGD"
}
ATTRIBUTE nlemma {
  TYPE "FD_FGD"
  MULTIVALUE y
  MULTISEP "|"
}
ATTRIBUTE ntag {
  TYPE "FD_FGD"
  MULTIVALUE y
  MULTISEP "|"
}
ATTRIBUTE npos {
  TYPE "FD_FGD"
  MULTIVALUE y
  MULTISEP "|"
}
ATTRIBUTE elnl {
  TYPE "FD_FGD"
}
ATTRIBUTE etnt {
  TYPE "FD_FGD"
}

STRUCTURE doc {
        ATTRIBUTE name
}

STRUCTURE s
</code>

Trace: • tipy_triky • terminaly • grimm-old-grub • tacr23 • process_text_maintenance • sit-jinonice • tagger • kyocera

Navigation

Search

Toolbox

QR Code