wiki:user:skoumal:infra:process_text_run - Dokuwiki anotační sekce ČNK

Wiki spuštěna 24. 7. 2025
This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== Návod na výrobu korpusu novými skripty s MorphoDiTou ======

Tento návod se týká korpusů ''SYN2020'' a novějších.

  * Pracujeme v ''UTF-8''.
  * Zdrojové texty jsou dodávány ve formátu ''XML''; my je převedeme na holý text a zpracujeme sadou skriptů.
  * Všechny použité skripty vytvoří adresář ''errlog'', do kterého se zapisují chybové hlášky, a protokol o běhu ''proces_<skript>.log''. Staré verze ''errlog'' a logu se přejmenují podle data, kdy byly vytvořeny.
  * Na konci provedeme několikerou kontrolu.

===== Přebrání souborů v XML =====

Soubory (pro ''NEWTON'') jsou někde v ''/cnk/common/korpus/xml'' a jsou v adresářích podle titulů a ročníku, např. ''.../Ze/2023/''. My potřebujeme všechny soubory v jednom adresáři:<code>
for dd in /cnk/common/korpus/xml/synkorp/newton/03461/*; do echo $dd; cp -p $dd/2023/* ~/cnk-work/SYNv13/NEWTON2023/source/; done</code>


===== Oprava ligatur fi a fl =====

V původních XML textech jsou místy rozdělená slova obsahující ligatury ''fi'' a ''fl''. Před zpracováním korpusu část těchto chyb opravíme a opravené XML soubory nakonec odevzdáme i s korpusem.<code>cd NEWTON2020
parallel-filter.sh -C "repair_control_chars.pl | repair_xml.pl" -s orig_old -t orig_new -v -p45</code>Zkontrolujeme provedené opravy:<code>
sort -u stat_repair.txt | perl -pe 's/<p>//' | perl -pe 's:</p>?::' | perl -pe 's/^(OCR_[0-9][0-9]:)[\s[:punct:]“„…«»]+/$1/' \
| perl -pe 's/[[:punct:]“„…«»]+$//' | sort -u | l</code>a případně přizpůsobíme skript ''repair_xml.pl''. Před novým spuštěním nezapomeneme smazat ''stat_repair.txt''.

==== Opravy repair_xml.pl ====

Kontrolu provedeme obarveným diffem:<code>
for dd in *; do cd $dd/2023; for ff in *; do \
git diff --no-index --color=always $ff ../../../../../11_step/newton/03461/$dd/2023/$ff | diff-highlight; done; cd ../..; done \
| l -r</code>nebo<code>
for dd in *; do cd $dd/2023; for ff in *; do \
diff -u --color=always $ff ../../../../../11_step/newton/03461/$dd/2023/$ff | diff-highlight; done; cd ../..; done \
| l -r</code>
Zkontrolovat:
  * ''pů'' ''vod''
  * ''š'' ''kol''
  * ''-'' (''konfi'' ''-gurátor'' podle ''ofi'' ''-ciální'')
  * ''UEFI X''
  * ''škole.Honza''
  * ''portugalskou školoua''

Dodat:
  * ''Th'' ''ompson''
  * ''rovno'' ''váh''?
  * ''airsoft'' ''ov''

===== Odstranění XML značek =====

  * Původní ''XML'' soubory jsou umístěny v adresáři ''orig''. Žádné odstraňování url a e-mailů neprovádíme.
  * Použijeme Vondřičkův script:<code>cd orig
for ff in *.xml; do echo $ff; xml2standoff $ff; done</code>anebo paralelně<code>
parallel-mask.sh -C xml2standoff -d . -m ".*\.xml$" -p45 -v</code>
  * Holé texty ''.txt'' zkopírujeme do adresáře ''in-utf8''.

===== Tokenizace, segmentace, morfologie, pravidla a MorphoDiTa =====

  * Pro provedení segmentace, tokenizace a morfologické analýzy používáme skript **''process_text.sh''**.
  * Pokud potřebujeme znát všechny mezikroky, použijeme přepínč **''-D''**, jinak se uloží pouze některé mezikroky.
  * Vývojová verze se pouští rovnou, zmrazená po nastavení prostředí příkazem **''versyn2020''**.
  * Standardní spuštění skriptu:<code>
screen process_text.sh -p45 -v</code>Defaultní vstup je **''in-utf8''**, defaultní výstup je **''vert-rules-mdita-sublm-agr''**. Zachovají se tyto adresáře s mezivýsledky:
    * ''vert-morf-simp-nosp-sgcr-con'' --- nutné pro závěrečné úpravy
    * ''vert-vrbtg8'' --- výsledek morfologické analýzy
    * ''vert-rules'' --- výsledek pravidel
    * ''vert-rules-mdita'' --- výsledek MorphoDiTy
  * Pokud potřebujeme adresář **''vert-rules-mdita-correct''** pro spuštění kolokací, můžeme buď použít přepínač **''-D''**, nebo jako target zadat adresář **''vert-rules-mdita-conllu-in''**:<code>process_text.sh -p45 -t in -v</code>
  * Při použití přepínače **''-D''** se zachovají tyto adresáře s mezivýsledky:
    * ''vert'' --- segmentace a tokenizace
    * ''vert-morf-simp'' --- morfologie
    * ''vert-morf-simp-nosp'' --- vyznačení (ne)mezer a odstavců podle holého textu
    * ''vert-morf-simp-nosp-sgcr'' --- opravená segmentace
    * ''vert-morf-simp-nosp-sgcr-con'' --- opravená tokenizace
    * ''vert-morf-simp-nosp-sgcr-con-sublm'' --- dodaná sublemmata
    * ''vert-rules-mdita-correct'' --- výsledek MDiTy opravený podle původní nabídky morfologie
  * Chceme-li použít i ''frazrl'', spustíme skript takto:<code>screen process_text.sh -f -p45 -t in -v</code>

===== Syntax =====


===== Kolokace =====

Kolokace se vyrábějí skriptem ''process_kolok.sh'':<code>cd NEWTON2020
process_kolok.sh -p 80 -v</code>pokud jsme dělali pouze pravidla a máme adresář ''vert-rules-mdita-correct'', anebo příkazem<code>
process_kolok.sh -p 80 -s vert-rules0-frazrl-rules-mdita-correct -v</code>

==== Vytvoření mezivýsledku vert-rules0-frazrl-rules-mdita-kolok ====

Pokud jsme nepustili kolokace s přepínačem ''-D'' a potřebujeme výsledek FRANTy před závěrečnými skripty, můžeme si chybějící data vyrobit:<code>cd NEWTON2019
parallel-filter.sh -C "cut -f2- | split-subl-agreg.pl | cut -f1,2,4- | perl -pe 's/^([^\t]+\t[^\t]+\t[^\t]+)\t/\1/'" \
-s vert-rules0-frazrl-rules-mdita-kolok-sublm-agr -t vert-rules0-frazrl-rules-mdita-kolok -v -p100</code>

===== Druhé kolo final_corrections =====

  * V adresáři vyrobíme nový adresář ''Final_Corr'' a v něm podadresáře:<code>
mkdir -p Final_Corr/vert-rules0-frazrl-rules-mdita-kolok
mkdir -p Final_Corr/vert-rules0-frazrl-rules-mdita-kolok-sublm-agr
mkdir -p Final_Corr/vert-morf-simp-nosp-sgcr-con
mkdir -p Final_Corr/orig
mkdir -p Final_Corr/in-utf8</code>a vyrobíme v nich linky:<code>
cd Final_Corr/vert-rules0-frazrl-rules-mdita-kolok/
for ff in ../../vert-rules0-frazrl-rules-mdita-kolok-sublm-agr/*; do ln -s $ff; done
cd ../vert-morf-simp-nosp-sgcr-con/
for ff in ../../vert-morf-simp-nosp-sgcr-con/*; do ln -s $ff; done
cd ../in-utf8/
for ff in ../../in-utf8/*; do ln -s $ff; done
cd ../orig/
for ff in ../../[../../SYNv10/<korpus>/]orig/*; do ln -s $ff; done</code>
  * V tomto novém adresáři pustíme (ve ''screenu'') poslední dva příkazy:<code>
cd ../vert-rules0-frazrl-rules-mdita-kolok/
screen
ls | parallel -j45 "cat {} | final_correct_segmentation.pl ../vert-morf-simp-nosp-sgcr-con/{} \
| final_corrections.pl | perl -pe 's/[\t]+$//' > ../vert-rules0-frazrl-rules-mdita-kolok-sublm-agr/{}"</code>
===== Závěrečné kontroly =====

Musíme zkontrolovat:
  - Počet zpracovaných souborů
  - Korektnost řádků včetně tagů
  - Úplnost souborů
  - Kompatibilitu s původními ''XML'' texty

  * Počet souborů:<code>cd <korpus>
comm -3 <(ls in-utf8) <(ls vert-rules0-frazrl-rules-mdita-kolok-sublm-agr)</code>nebo<code>
comm -3 <(ls in-utf8) <(ls vert-rules0-frazrl-rules-mdita-correct)</code>
  * Korektnost řádků po kolokacích:<code>cd vert-rules0-frazrl-rules-mdita-kolok
for ff in *; do check-vert-tag-v2020.pl -k -t -l21 < $ff > /dev/null; done</code>nebo paralelně<code>
parallel-filter.sh -C "check-vert-tag-v2020.pl -k -t -l21" -n -s vert-rules0-frazrl-rules-mdita-kolok -p45</code>Nebo po pravidlech<code>
parallel-filter.sh -C "check-vert-tag-v2020.pl" -n -s vert-rules0-frazrl-rules -p80</code>Nebo po tagování:<code>
parallel-filter.sh -C "check-vert-tag-v2020.pl -t -l21" -n -s vert-rules0-frazrl-rules-mdita-correct -p80</code>Nebo na úplném konci:<code>
parallel-filter.sh -C "check-vert-tag-v2020.pl -c5 -k -t -V" -n -s vert-rules0-frazrl-rules-mdita-[kolok-]sublm-agr -p45</code>
  * Pro kontrolu úplnosti souborů potřebujeme adresář **''in-utf8''**:<code>cd vert-prislovi-kolok
for ff in *; do no_space_after_token_morphanal.pl ../in-utf8/$ff /dev/null < $ff > /dev/null; done</code>nebo paralelně:<code>
cd vert-prislovi-kolok
ls -S | parallel -j45 "no_space_after_token_morphanal.pl ../in-utf8/{} /dev/null < {} > /dev/null"</code>

===== Opravy chybějících nebo vadných souborů =====

  * Vytvoříme adresář ''oprava'', ve kterém znovu zpracujeme vadné soubory. Nejdřív ale vytvoříme soubor ''missing-files.txt'' (pomocí příkazů pro kontrolu uvedených výše).Následující příklad je pro předělání kolokací:<code>cd <korpus>
mkdir -p oprava/in-utf8
mkdir -p oprava/vert-morf-simp-nosp-sgcr-con/
mkdir -p oprava/vert-rules0-frazrl-rules-mdita-correct/
rsync -avz --files-from=missing-files.txt in-utf8/ oprava/in-utf8/
rsync -avz --files-from=missing-files.txt vert-morf-simp-nosp-sgcr-con/ oprava/vert-morf-simp-nosp-sgcr-con/
rsync -avz --files-from=missing-files.txt vert-rules0-frazrl-rules-mdita-correct/ oprava/vert-rules0-frazrl-rules-mdita-correct/
cd oprava
process_kolok.sh -p20 -s vert-rules0-frazrl-rules-mdita-correct -v</code>
  * Závěrečné kolo ''final_corrections'':<code>cd <korpus>
parallel-filter.sh -C "final_corrections.pl | perl -pe 's/[\t\ ]+$//'" -s vert-rules0-frazrl-rules-mdita-kolok-sublm-agr \
-t vert-final-corrections -p100 -v -e</code>


===== Převod do formátu pro ČNK =====

  * Převod do formátu ČNK (a kontrolu kompatibility) provedeme pomocí Vondřičkových skriptů. Potřebujeme k tomu adresář ''orig''.
    * Pokud jsme vyráběli korpus se strukturami, musíme je nejdřív odstranit:<code>cd NEWTON2020
parallel-filter.sh -C "perl -pe 's/^<[ps]>$//' | perl -pe 's:^</[ps]>$::' | grep -v \"^<g\/>$\" | cat -s | sed '1{/^$/d}'" \
-v -p100 -s vert-rules0-frazrl-rules-mdita-kolok-sublm-agr -t vert-corr
cd vert-corr
for ff in *.txt; do mv $ff ${ff%.txt}.vrt</code>
    * Pokud vytváříme korpus s nedokončenou desambiguací, musíme si vytvořit vlastní ''.vrt'' soubory pomocí programu ''vert2vertbar.pl'' (z grimma):<code>cd .../korpus
vert2vertbar.pl vert-rules0-frazrl-rules vert-r0-f-r</code>
    * Pokud máme kolokace začínající na ''W'', odstraníme je:<code>
cd vert-rules0-frazrl-rules-mdita-kolok-sublm-agr
for ff in *.txt; do perl -pe 's/\tW([^\t\ ]+)$/\t$1/' $ff > ../vert-corr/${ff%.txt}.vrt; done</code>anebo paralelně:<code>
ls | parallel -j45 "perl -pe 's/\tW([^\t\ ]+)$/\t\1/' {} > ../vert-corr/{.}.vrt"</code>
    * Jinak soubory jenom zkopírujeme a přejmenujeme:<code>
cd vert-rules0-frazrl-rules-mdita-kolok-sublm-agr
for ff in *.txt; do cp -p $ff ../vert-corr/${ff%.txt}.vrt; done</code>
  * Pak můžeme spustit Vondřičkův skript:<code>
cd vert-corr
for ff in *.vrt; do ln -s ../orig/${ff%.vrt}.txt; done
for ff in *.vrt; do ln -s ../orig/${ff%.vrt}.json; done
# parallel-mask.sh -C "vrt2standoff.py -v cnk2020lemur" -m ".*\.vrt$" -v -p45 -d.
parallel-mask.sh -C "ann2standoff -p cnk2020lemur -P none" -m ".*\.vrt$" -v -p45 -d.
ls *.vrt | wc -l
ls *.ann.json | wc -l</code>nebo pro samotná pravidla:<code>
parallel-mask.sh -C "ann2standoff -c ../../ann2standoff.ini -p rules -P none" -m ".*\.vrt$" -v -p45 -d.</code>
  * Zabalení hotových souborů k odeslání:<code>cd vert-prislovi-kolok-CNK
tar czvf /cnk/work/korpusy/SYNv13/<korpus>-vrt.tgz *.vrt
tar czvf /cnk/work/korpusy/SYNv13/<korpus>-ann.json.tgz *.ann.json
tar czvhf /cnk/work/korpusy/SYNv13/<korpus>-txt.tgz *.txt
tar czvhf /cnk/work/korpusy/SYNv13/<korpus>-json.tgz $(ls *.json | grep -v "ann.json$")</code>anebo<code>
tar czvf /cnk/work/korpusy/SYNv13/SYN2020-vrt.tgz *.vrt; tar czvf /cnk/work/korpusy/SYNv13/SYN2020-ann-json.tgz *.ann.json; tar czvhf /cnk/work/korpusy/SYNv13/SYN2020-txt.tgz *.txt; tar czvhf /cnk/work/korpusy/SYNv13/SYN2020-json.tgz $(ls *.json | grep -v "ann.json$")
tar czvf /cnk/work/korpusy/SYNv13/NEWTON2020-vrt.tgz *.vrt; tar czvf /cnk/work/korpusy/SYNv13/NEWTON2020-ann-json.tgz *.ann.json; tar czvhf /cnk/work/korpusy/SYNv13/NEWTON2020-txt.tgz *.txt; tar czvhf /cnk/work/korpusy/SYNv13/NEWTON2020-json.tgz $(ls *.json | grep -v "ann.json$")</code>
  * <del>Odeslání:<code>rsync -avz *.tgz trnka:/cnk/work/korpusy/<korpus>/</code></del>

===== Výroba vlastních korpusů =====

  * Příprava souborů pro vlastní korpus:<code>cd .../vert-corr
parallel-mask.sh -C "standoff2xml -c /cnk/work/skoumal/LEMUR/ann2standoff.ini -p frantalemur" -m ".*\.txt$" -v -p45 -d.</code>nebo bez frazémů:<code>
parallel-mask.sh -C "standoff2xml -p cnk2020" -m ".*\.txt$" -v -p100 -d.</code>
  * Příprava XML souborů
    * bez frazémů:<code>for ff in *.ann.xml; do gg=${ff%.ann.xml}.txt; xml2vrt -p cnk2020lemur $ff | perl -pe "s/^(<doc) .*>$/\1 id=\"$gg\">/"; done > /cnk/common/korpus/vertikaly/<korpus>/vertikala</code>nebo jsou-li správné hlavičky už nachystané<code>for ff in *.ann.xml; do xml2vrt -p cnk2020lemur $ff; done > /cnk/common/korpus/vertikaly/<korpus>/vertikala</code>anebo paralelně jenom pro kontrolu<code>
ls -S *.ann.xml | parallel -j100 "xml2vrt -p cnk2020lemur {} > /dev/null"</code>
    * s FRANTOU:<code>for ff in *.ann.xml; do gg=${ff%.ann.xml}.txt; xml2vrt -c /cnk/work/skoumal/LEMUR/ann2standoff.ini -p cnk2020lemur $ff | perl -pe "s/^(<doc) .*>$/\1 id=\"$gg\">/"; done > /cnk/common/korpus/vertikaly/<korpus>/vertikala</code>nebo jsou-li správné hlavičky už nachystané<code>for ff in *.ann.xml; do xml2vrt -c /cnk/work/skoumal/LEMUR/ann2standoff.ini -p cnk2020lemur $ff; done > /cnk/common/korpus/vertikaly/<korpus>/vertikala</code>
    * s LEMURem:<code>for ff in *.ann.xml; do gg=${ff%.ann.xml}.txt; xml2vrt -c /cnk/work/skoumal/LEMUR/ann2standoff.ini -p lemur $ff | perl -pe "s/^(<doc) .*>$/\1 id=\"$gg\">/"; done > /cnk/common/korpus/vertikaly/<korpus>/vertikala</code>nebo jsou-li správné hlavičky už nachystané<code>for ff in *.ann.xml; do xml2vrt -c /cnk/work/skoumal/LEMUR/ann2standoff.ini -p lemur $ff; done > /cnk/common/korpus/vertikaly/<korpus>/vertikala</code>
    * s FRANTOU a Lemurem:<code>for ff in *.ann.xml; do gg=${ff%.ann.xml}.txt; xml2vrt -c /cnk/work/skoumal/LEMUR/ann2standoff.ini -p frantalemur $ff | perl -pe "s/^(<doc) .*>$/\1 id=\"$gg\">/"; done > /cnk/common/korpus/vertikaly/<korpus>/vertikala
</code>nebo jsou-li správné hlavičky už nachystané<code>for ff in *.ann.xml; do xml2vrt -c /cnk/work/skoumal/LEMUR/ann2standoff.ini -p frantalemur $ff; done > /cnk/common/korpus/vertikaly/<korpus>/vertikala</code>
Trace: • reboot • utraceni_2009 • skript • software
Navigation

Search

Toolbox

QR Code
