Проблемку решить

[Yougi]

Более качественное распознавание попробуйте поискать.

tnx cpt
 шутку оценил

[Bhudh]

Н-да… Какчество.

С распознанным текстом алгоритм в принципе понятен: сперва строка бьётся по цифрам, потом по colonʼам, потом по запятым, потом по пробелам.
Далее смотрим, сколько у нас слов получилось в первом из предпоследних разбиений. Если 2 — это и есть слово и перевод. И т. д.

[Yougi]

 Всё сложнее.
 примо, слово в начале статьи может состоять из двух (или даже из трёх) форм, разделённых пробелами
 секундо, в примерах часто встречаются доп. переводы слов, которые тоже необходимо оформлять.
 см. мой пример - болдом идёт карельское слово, потом плейном финский перевод, потом италиком пример на карельском, и внутри примера слово kravatti дополнительно переводится на финский (vuodesta)

Как я себе это мыслю - в некоем редакторе я выделяю, что надо, нажимаю F1 (условно) и выделенное у меня - херак, и болдом. Выделяю другой фрагмент, нажимаю F2 - оно херак, и италиком.

[Bhudh]

По предоставленному фрагменту выходит такое автоматическое разбиение:

[[[[Ka, apusana]], [[Ka, miksebo, muga, ruavoit.]]]]
[[[[Kaalikku, kerjäläinen]], [[Kaalikku, šalguu, myö, pajattaa.]]]]
[[[[Kaanis, kaunis.]]]]
[[[[Kaarninarut, tervanarun, säikeet]], [[ks., priätti.]]]]
[[[[Kabakku, kapakka], [viinakauppa], [viinitupa], [kabakas, kapakassa.]]]]
[[[[Kabaleh, pellon, sarka], [kabalehel, saralla]], [[Niidy, kabalehii, pidäz, vie, uuvvestah, kerratšelleh, kyndiä.]]]]
[[[[Kabalo, kapalo.]]]]
[[[[Kabaloija, kapaloida, (lapsi)], [kabaloittšoo, kapaloitsee.]]]]
[[[[Kabalolapsi, kapalolapsi.]]]]
[[[[Kabalovyo, kapalovyo.]]]]
[[[[Kabaššiekku, kapakoitsija.]]]]
[[[[Kabehet, morsiuskapiot.]]]]
[[[[Kabeššie, kiivetä.]]]]
[[[[Kabevui, nousi, jaloilleen]], [[Jo, hai, lopuškal, tauvoin, jälles, kabevui, kravat'iz, iäres]]], [[[2]]], [[[., aloitti, tappelun.]]]]
[[[[Kabi, syyhy]], [[Meijjän, hebozez, on, kabi], [onnakko, kai, jouhet, hännäs, kuaputtaa, iäres.]]]]
[[[[Kabista, kahista], [kabizoo, kahisee, (kuiva, ruoho], [haavan, lehti).]]]]
[[[[Kabista, kopistella.]]]]
[[[[Kabin, kopina], [kapse]], [[Hyö, ku, ajua, firhittih], [yksi, kabin, vai, kuului.]]]]
[[[[Kabineh, kapine], [esine], [työkalu], [kopina.]]]]
[[[[Kabju, kavio], [kabjah, kavioon.]]]]
[[[[Kablas, kaplas]], [[kablahat, kaplaat.]]]]
[[[[Kabli, kuorimarauta], [nahkurin, terä], [jolla, hän, kaapii, nahkasta, karvoja.]]]]
[[[[Kabliendu, propsin, kuorinta], [karvojen, ottaminen, vuodasta, terän, avulla.]]]]
[[[[Kablukku, kengän, korko]], [[Ei, se, mado, ni, mil, meinannuh, kuolla, vai, ku, kablukal, stolkonin, pidh, ga, tervüh, hengen, heitti.]]]]
[[[[Kabrastua, korjata, astiat], [siivota], [kabrasti, korjasi], [siivosi.]]]]
[[[[Kabris, kauris.]]]]
[[[[Kaburi, kuiva, leipä], [laiha, hevonen.]]]]
[[[[Kabusäkki, matkalaukku.]]]]
[[[[Kadai, kataja.]]]]
[[[[Kadaimarju, katajan, marja.]]]]
[[[[Kadaituhjo, katajapensas.]]]]
[[[[Kadajikko, katajikko.]]]]
[[[[Kadal, katala], [kovaosainen]], [[Kadal, on, eliä], [ku, ni, mi, täz, muailmas, ei, enembia, auta.]]]]
[[[[Kadžmer, katkera], [karvas]], [[Muite, tämä, olis, hyvä, keitto, sinun, keitetykse], [vai, on, olevahkozen, kadsmer.]]]]
[[[[Kadriell, karjalainen, lanssi.]]]]

Тут в принципе понятно, что если в массиве 2 или 3 слова, то первое скорее всего заглавное, остальные переводы.
Причём, заметьте, это работает даже посередине статьи: "[kabaloittšoo, kapaloitsee.]", "[kabrasti, korjasi]" — это промежуточные переводы однокоренных слов, поэтому первое слово можно сразу курсивить. Понятно, косяки могут быть, но скорее всего немного.

[Yougi]

 да, но запятые в примерах всю малину портят.

[Bhudh]

Да ничего они не портят, по запятым же текст тоже разбивается. Просто видно, что в примере есть запятые.
Дополнительно можно было бы и по заглавным буквам разбивать, но тут особого смысла нет, примеры и так точками с запятой разделяются и дальше пример с заглавной.
Проблема есть, когда после примера ещё идёт какой-то текст, как в статье Kaut'i, но там есть помета, которые можно отлавливать отдельно.

[Bhudh]

и внутри примера слово kravatti дополнительно переводится на финский (vuodesta)

А вот это Вам, извините, ни один ИИ без оригинала перед глазами не выловит. Как можно понять, что в предложении в сплошном потоке текста какое-то слово ВНЕЗАПНО является переводом предыдущего⁈ Оно же даже не в скобках.

[Yougi]

Проблема есть, когда после примера ещё идёт какой-то текст, как в статье Kaut'i,

там перевода нет вообще, только пример

[Bhudh]

Там после примера после запятой «s.o. vartavasten».
Кстати, да, по двоеточиям тоже стоит разбивать.