Práce na SYNv14

Pracovní adresář: /cnk/work/skoumal/INFRA/SYNv14

Zdroj dat: (chomsky:)/mnt/ada/data/SYNv13

Verze nástrojů: 202512, 18. 12. 10:53

Postup zpracování:

Postup zpracování:

Jde vesměs o opravy adjektiv a dverbií se záporkami

Pracuje se v adresář /home/skoumal/cnk-work/INFRA/OPRAVA

Do něj se zkopírují všechny adresáře in-utf8 kromě SYN2025 a SYN2025-p

Provede se morfologická analýza:

cd /home/skoumal/cnk-work/INFRA/OPRAVA/<korpus>
screen process_text.sh -v -tvrbtg8 -p<num>

Potom porovnáme novou morfologii s původní:

cd .../<korpus>
diffys -w200 -r vert-vrbtg8/ ../../SYNv14/<korpus>/vert-vrbtg8/ | grep -v "^diff -y" | cut -f2  | cut -f1 -d' ' | sort -u > ../<korpus>-diff.txt

Vybereme slova, která je třeba opravit:

Seznam.txt

spoutaný        nespoutaný      AA
dbalý   nedbalý AA
volný   nevolný AA
otesaný neotesaný       AA
pokrytý nepokrytý       AA
pozorovaný      nepozorovaný    AA
uvěřitelně      neuvěřitelně    Dg
vázaný  nevázaný        AA
zvyklý  nezvyklý        AA
zúčastněný      nezúčastněný    AA
zřízený nezřízený       AA

a vygrepneme fajly, kterých se oprava týká

find_negation_v14.sh

Samotné opravy provedeme skriptem

repair_negation_v14.sh

Výsledky jsou v adresářích mwe_out-prod-c2-corr/ u každého korpusu.

Pro každý korpus přejmenujeme adresáře

mv mwe_out-prod-c2 mwe_out-prod-c2.sav
mv mwe_out-prod-c2-corr mwe_out-prod-c2
mv vert-mwe-corr vert-mwe-corr.sav
mkdir vert-mwe-corr

a provedeme kontrolu s generováním .ann.xml

cd .../<korpus>
check-mwe-corpus.sh -p100 -v

Opravuje se do_prdele_práce, ale musí se použít poslední opravy, které se dělaly už na vertikále s MWE

Vytvoříme si opravené vert-rules0-frazrl-rules-mdita-sublm-agr:

cd <korpus>
mv vert-rules0-frazrl-rules-mdita-sublm-agr  vert-rules0-frazrl-rules-mdita-sublm-agr.sav
mkdir vert-rules0-frazrl-rules-mdita-sublm-agr
cd mwe_out-prod-c2.sav
ls -S *.txt | parallel -j100 echo {}; "cut -f1-6 {} > ../vert-rules0-frazrl-rules-mdita-sublm-agr/{}"
cd ../mwe_out-prod-c2
ls -S *.txt | parallel -j100 echo {}; "cut -f1-6 {} > ../vert-rules0-frazrl-rules-mdita-sublm-agr/{}"

anebo spustíme skript

mwe_new_input.sh

Teď můžeme znova udělat frazémovou anotaci:

screen mwe_annotate_v14.sh

[ Oprava chybějících typů užití

cd mwe_out-prod-c2
mkdir ../mwe_out-prod-c2-opr
ls -S | parallel -j45 "perl -pe 's/([\t\|])-(..____)/\1g\2/g' {} > ../mwe_out-prod-c2-opr/{}"

] - naštěstí to Přemek opravil.

A dorazíme to

screen check-mwe-corpus.sh -p100 -v