Letní čelendž - úprava skenu s nízkým kontrastem

[eleferner]

Edit: Je to hotove, vycistene stranky od lubos1961 jsem pouzil pro OCR, za coz mu patri velky dik. Nicmene na popud uzivatele martinkopp jsem pro jistotu jsem na konec dokumentu pripojil i silne zkomprimovane barevne skeny, kdyby se pri cisteni nahodou neco ztratilo. Je ke stazeni zde:

Stridavy mikrovoltmetr VEB Funkwerk Erfurt Typ 4011, nemecky:
https://archive.org/details/veb-funkwer ... 9/mode/2up
https://elektrotanya.com/veb-funkwerk-e ... nload.html
https://mega.nz/file/0jgEFRBQ#LHDrFgMtJ ... KEc60eBsFs


---------------------------------------------------------
V minulosti se zde nekolikrat probiralo zpracovani nekvalitnich skenu, takze mam pro mistni osazenstvo mensi letni vyzvu.

Jak jsem zminil v mem threadu se sbirkou navodu, nektere z nich si skenuji pro sebe. Mezi nimi je i mikrovoltmetr Typ 4011 od vychodonemeckych soudruhu z VEB Funkwerk Erfurt. Schema je na papiru cca A1, jenze s velmi spatnym kontrastem. Navic je kreslene tenkymi carami. V mistni planografii jsem ho nechal naskenovat v 600 dpi, takze ma 30 MB. Ale nedari se mi ho rozumne vycistit, abych soubor zmensil a soucasne zachovala citelnost. Idealni by samozrejme bylo vyrazit z toho cernobily (1-bitovy) obrazek, protoze PDF je umi extremne efektivne komprimovat (JBIG2 algoritmus). Normalne v takovych pripadech v GIMPu pouzivam unsharp + potlaceni pozadi + threshold + automaticke odstraneni izolovanych cernych tecek. Ale tady je kontrast moc nizky a cary moc tenke. Po asi 2 hodinach pokusu nejlepe fungovalo primitivni prepaleni kontrastu aby pozadi zbelalo + obarveni zbytku nacerno. Jenze porad nekde zustavaji cerne fleky a jinde zmizi uzitecne informace. Taky jsem zkousel obrazek prekodovat na 4-bitovou hloubku, ale velikost souboru to paradoxne zvetsilo. Grayscale zhorsilo citelnost a soubor se zmensil jen asi o 1/4.

Neznate na to nejaky trik? Krome toho schematu navod ma asi 15 stran a i pokud by je ukladal jen ve 400 dpi, tak by porad mel pres 100 MB. To sice dnes nic neni, ale je kravina "cernobily" text a vykresy ukladat jako barevne JPG. Neni na to v PDF treba lepsi interni TIFF format? Zde je odkaz ke stazeni:

https://mega.nz/file/RjIBXLoQ#SW9mAcrp- ... cPhrN0xvYY

Je tam originalni sken, ale jsou v nem barevne pasy ze snimace skeneru. Takze je tam i verze po pruchodu destripe filtrem.

[rnbw]

Skusal s v GIMPe Color->Levels? Konkretne black point a white point.

[EKKAR]

Koukal jsem na to a úplně první a hlavní chybou je, že to je skenovaný hned zfleku s jpegovou kompresí. První sken musí bejt bezeztrátovej, aby vzal co nejpřesnějc dobrý užitečný data i vady a vykreslil je na monitor. Jakmile se do toho nasere konverze ss jakoukoliv kompresí, nejde následně odlišit vady od dobrejch míst, protože ten SW kompresor je prostě zmatlá dohromady. Navíc dělá "rozpitý" okraje černejch linek tím, že se snaží na rozhraní černý s jinou barvou namontovat "přechodově" zbarvený pixely. Nech si to naskenovat znovu, ale vyhoď je s výstupem v .jpg/.jpeg a chtěj minimálně .png, nejlepší je samozřejmě .bmp. Neboj se toho, že to A1 bude mít víc jak 100Mega - to se zmenší až po vyfiltrování těch černejch čar - ale nejdřív je potřebuješ mít co nejostřejší - a to opravdu jpg kompresor nedá.

[samec]

Skús nastaviť jas ešte pred skenovaním. Mne sa podarilo z úplne vyblednutého pokladničného bločku vytiahnúť jasne čitateľný text. Skenovacie čipy toťiž umožňujú nastaviť zosilnenie a offset, ale tieto nastavenia väčšinou nie sú prístupné v skenovacom softvéri.

[lubos1961]

Z toho skenu se už asi více nedá vyždímat

[eleferner]

Bomba. Jak jsi to udelal? A... byl bys ochoten podobne vycistit i stranky s textem navodu? Ty jsou totiz podobne spatne.

Mimochodem, obvolal jsem 5 jinych planografii po Brne, ale v barve vsechny umi jen JPG nebo PDF. Zkratka uz to neni jak driv, ze skener byla jen periferie pripojena k PC. Dnes to jsou samostante stroje a vsechno dela jejich interni firmware. A neco skenovat bezeztratove potrebuje jen malokdo, takze to firmware neumi.

[lubos1961]

U toho skenu je nejen hodně špatný kontrast, ale také hodně rozdílná sytost základního pozadí, čímž se ještě dále v celkovém obrázku snižuje zozlišovací poměr čerá/bílá až na úrověň, kdy určitá sytost na této nízké škále je již totožná pro obě úrovně a nijak ani nepomůže další zvýšování kontrastu. Ale inteligentním rozostřením se zjemní pozadí, převodem do škály šedé s preferencí určitých barev se zase trochu zvětší kontrastní poměr kdy se již z toho dá rozdělit černá/bílá, ale stejně stále kvůli tak nízkému rozdílu a preferencí černé, aby někde nechyběly nějaké ty linky, zůstává v bílých oblastech spousta různých teček, které se poté musí už ručně odmazat.

Jinak ten text někde zase hoď, já se na to podívám, stačí až nad hlavu v 300 dpi. Do Sz mi hoď email a já ti to tam pošlu.

[Hill]

Ano, přesně tak jsem s tím včera taky začal - vybral jsem jen zelenou informaci, rozostřil, zvýšil kontrast, převzorkoval na menší rozlišení, opět o 1 bod rozostřil, zase zvedl kontrast, jen v každém poli jinak. A zbytky čistil ručně.
Jenže přišly jiné povinnosti, tak to nemám dodělané.
Jak koukám, není to už třeba.
Nicméně základ je dobře přiložená předloha na sklo skeneru, takto nerovnoměrně exponované plochy v jednom výkresu jsem ještě neměl, a to musím někdy zčitelnit a čistit stavební výkresy i přes 60 let staré.

[serviceman]

Na podobné věci se mně osvědčil ScanTailor

[pberki]

Mam ulozeny tento navod:
https://youtu.be/bLx71sVgvt0

[eleferner]

@lubos1961 @Hill: to neni chyba skenovani, to schema se takto meni i v realu. Bohuzel ten navod je na nekterych strankach jeste horsi...

[eleferner]

ale také hodně rozdílná sytost základního pozadí, čímž se ještě dále v celkovém obrázku snižuje zozlišovací poměr čerá/bílá

V mezicase jsem se pustil do zpracovani jineho dederonskeho navodu, ktery take trpi tim, ze nektere casti stranky jsou sytejsi, nez jine. V tomto pripade se nemenilo jen pozadi, ale i sytost textu. Zkusil jsem na ne aplikovat metodu odstraneni gradientu z tohoto astronomickeho fora, ale zlepseni bylo mizive, protoze nemelo vliv na sytost textu. Takze jsem v GIMPu udelal svoji vlastni modifikaci jejich postupu:

1. Filters - Blur - Median Blur - Percentile:40. To ma za nasledek vyhlazeni pozadi a zvetseni sirky textu.
2. Layers - Duplicate Layer.
3. Na nove (vyssi) vrstve nastavit mode na Divide, pri Opacity:100 cely obrazek zbela, ale to nevadi.
4. Na nove vrstve aplikovat Filters - Blur - Gussian Blur. Cim mensi radius (size), tim lepe se gradient vyrovna, ale soucasne se vice zhorsi dynamicky rozsah vysledneho obrazu (zuzi se histogram).
5. Sloucit vrstvy (merge down).
6. Aplikovat Threshold pro prevod do 1-bitoveho obrazu.

Dole je porovnani vysledku, pokud gradient neodstranim. Slabinou celeho procesu je vrstvova operace Divide, ktera nici dynamicky rozsah a ztraci informaci o barve. Je tak velmi ostry prechod mezi cernou a bilou a v obrazu zustava mnoho cernych tecek. Zkousel jsem vypocetni rozliseni (precision) prepnout na 16 bitu, ale nevidel jsem zasadni rozdil ve vysledku, navic kazda operace trvala nasobne dlouho. Jine vrstvove operace (astronom doporucoval Subtract) gradient potlacily jen malo.

Mate nejaky napad, jak by to slo vylepsit?

[martinkopp]

Osobně takto nekvalitní předlohy nechávám v originálu. Vyčištěním se vždy něco ztratí a vem jed na to, že to bude zrovna věc kterou budeš potřebovat vědět.

[eleferner]

Njn, tohle je nekonecne dilema. Archivari samozrejme vse skenuji barevne vcetne prazdnych stranek, protoze cilem je zachovat puvodni vzhled dokumentu vcetne prosvitajiciho pozadi, kresby papiru apod. Jenze dnes vsichni pouzivaji PDF. To je naprd v tom, ze barevne obrazky defaultne uklada jako JPEG, takze je domrsi kompresnimi artefakty. Jde to sice obejit pouzitim (vetsinou command-line) utilit, ale to skoro nikdo nedela. A samozrejme soubor je minimalne 10x vetsi. Pro predstavu, ten puvnodni sken ma 5 MB, po vycisteni do 1-bitoveho PNG to spadne na 240 KB a po prevodu do JBIG2 formatu v PDF na 90 KB (viz priloha). To je naopak obrovska vyhoda PDF/JBIG2 - pokud se predloha da ulozit 1-bitove, tak muze mit klidne 600 dpi, ale velikost souboru se zvetsi jen minimalne. A text ve vysokem rozliseni se samozrejme lepe cte i na nem spolehliveji funguje OCR.

Edit: jak se vlastne tyhle zluto-hnede kopie navodu vyrabely? Klasicky cyklostyl s blanami?

[martinkopp]

Samozřejmě pokud je předloha dostatečně kvalitní, tak pozadí odmáznu. Ale u takových předloh jaké prezentuješ se tak většinou odmázne i část užitečných informací, proto se vyplatí nechat sken tak jak je. Nejde o nějakou archivaci 1:1 apod. Jde o zachování maximálního množství informací. Takže snížit rozlišení na nějakou rozumnou hodnotu a provést optimalizaci komprese. Fragmentace nemusí vypadat hezky, ale výsledek je u nekontrastních předloh mnohem čitelnější než 1bitová hloubka. Těch pár desítek MB navíc při dnešních kapacitách disků nikoho nezabije, zvlášť pokud předlohu následně likviduješ a už nikdy nebudeš mít možnost zjistit co je ve skutečnosti v špatně čitelné části.