Posts mit dem Label OCR werden angezeigt. Alle Posts anzeigen
Posts mit dem Label OCR werden angezeigt. Alle Posts anzeigen

19. Januar 2014

Alte Texte bearbeiten

Ein paar Tipps zum Versäubern alter Texte hatte ich versprochen. Vor allem frisch gescannte Texte mit Lesefehlern meine ich, egal ob aus Fraktur oder aus Antiqua. (Wie man Fraktur scannt, steht hier.)
   Als Beispiele gerade erst von mir bearbeiteter Texte darf ich anführen: für Antiqua einen Zeitungsartikel mit der Bearbeitung auf Seite 2 und folgenden, und für Fraktur das schöne Sarner Bauernjahr

Arbeitsumfeld. Zunächst forme man sich in seinem bevorzugten Textverarbeitungsprogramm, etwa Word, den Rohtext aus der OCR so um, dass man ihn optisch gut erkennen kann. Normale Zeilenabstände, normale Schrift (Ich arbeite mit gängiger Times New Roman), normale Buchstabengröße (meist 12 Punkt), genug Rand, das gibt kurze, leicht überschaubare Zeilen. Ich habe mir für dieses Umformen ein Word-Macro gemacht, dann geht das auf einen Schlag.
   Überhaupt empfehle ich, typische Korrekturen immer nebenher mitzunotieren. Dann kann man sich später ein Macro machen mit allen üblichen maschinell möglichen Änderungen.
   Mit Blick auf das Original wird dann der Text Wort für Wort gelesen, spannend oder nicht, und Fehler werden korrigiert. (Der Korrekturmodus ist nicht angesagt, wozu auch?)

Zeilenwechsel und Absätze. Gescannte Texte haben meist am Ende jeder Zeile einen »Absatzwechsel« (»Absatzbuchstabe«), zu sehen als ¶ bei eingeschalteter Anzeige der Formatierungszeichen. Die bekommt man bei Word, indem man in der üblichen Symbolleiste ¶ anklickt. (Word meint außerdem: »Sie können zum Ausblenden von Formatierungszeichen auch im Menü Extras auf Optionen und anschließend auf die Registerkarte Ansicht klicken. Aktivieren oder deaktivieren Sie die Kontrollkästchen unter Formatierungszeichen.«)
   Ich empfehle überhaupt, das Versäubern mit derart eingeschalteter Sonderzeichenanzeige zu machen.
   Die störenden Absatzmarken bekommt man mit Suchen und Ersetzen weg, in drei Schritten.
   Erstens ändert man alle echten Absätze, zu sehen als ¶¶ in die Buchstabenfolge QWERTZ oder sonst eine Zeichenfolge, die im Text gewiss nicht vorkommt. (Das Absatzzeichen bekommt man in Words Suchen und Ersetzen über (unten) Sonstiges als Absatzmarke oder ^p.)
   Zweitens ändert man alle verbliebenen einzelnen Absatzmarken ¶ in garnichts, löscht sie damit also heraus. Jetzt ist der Text ein durchgehend fließender Block. Doch keine Angst:
   Als Drittes ersetzt man am Schluss alle QUERTZ zurück in "¶   " – Absatz und drei Leerstellen! Noch besser sind drei geschützte Leerzeichen, ^s. In Words Suchen und Ersetzen sieht das Einzusetzende dann so aus: ^p^s^s^s, wobei wohl p für paragraph, Absatz, und s für space, Leerstelle steht. Das hat den Vorteil, dass Absätze gleich mit einem Einzug beginnen, was fürs Lesen sehr wichtig ist.
   Schriftsatzregel: Absätze durch Leerzeile (Durchschuss) oder Einzug. Ganz am Anfang also keinen Einzug. Tabs und dergleichen besondere Einzüge meide ich, weil sie bei weiterer Bearbeitung leicht verschwinden.

Umlaute. Besonders die gescannte Buchstabenfolge ii ist verdächtig, auch il und dergleichen. Das sind oft kleine ü. Die Tremapunkte (Bin ich nicht ein Angeber!) gehen beim Scannen gern verloren.

Das lange
(kleine) S
Das lange S. In Fraktur, aber auch in Antiqua, in Deutschland und anderswo, wurde früher im Wort das ſ verwendet, eine lange Geſchichte. Dazu gab’s Ligaturen, also »zusammengeklebte« Buchstaben wie st (st), sogar ein rundes kleines R hat es gegeben, etwa in rc, relinquo cetera, heute etc. bezw. &, schön im Typeforum dargestellt.
   Jedenfalls müssen das lange ſ und die Ligaturen raus, schon damit der Text maschinell durchsuchbar bleibt. Beim OCRen wird ſ leicht zu f, Oſtfriesland zu Oftfriesland – Sie sehen, wie unlesbar das im Gegensatz zu Ostfriesland ist.
   Weitere Schriftkürzel erwähnt Andreas Hauser in seiner lesenswerten (englischen) Magisterarbeit zu unserem Thema: OCR Postcorrection of Historical Texts, in Tabelle 2.1
   Schön die Geschichte mit den Tironischen Noten. Zu Ligaturen in HTML hier.
   Das c kommt im Deutschen nur in Verbindung mit h als ch vor, sonst sind’s höchstens Fremdwörter. Vagadundierende cs kann man suchen und dann oft zu o ändern, oder das h dahinter wurde falsch gelesen. Zitat: Da wir, gleich den Griechen und Slaven, die tenuis des gutturallauts mit K ausdrücken, so ist dafür das aus dem lateinischen Alphabet entnommene C ganz überflüssig, fehlt darum auch der gothischen und altnordischen schrift, die Slaven verwenden es für S, die Polen und Böhmen für Z. (…) unentbehrlich aber bleibt, solange wir für die kehlaspirata kein einfaches Zeichen, wie die Gothen das gr. X, annehmen, C in CH. (aus dem Grimmschen Wörterbuch, übernommen aus der Wikipedia
Statt AH steht da aber FH.

Großbuchstaben. Die waren früher oft besonders schmuck – und damit unlesbar –, oder gar als Initiale gesetzt. Das kann man zwar mit Word nachbilden, Format, Initial…, besser ist, man  lässt es sein. Der neue Text soll nicht schön, er soll normal zu lesen sein. Wie man Initiale (engl. auch dropcap) in HTML setzt, steht z. B. hier.
  Berühmt ist der Fall der falschen Frakturgroßbuchstaben (in vergoldetem Plastik) auf den falschen Hitlermemoiren, FH statt AH, noch dazu gesetzt in pompöser “Engravers’ Old English” vom Amerikaner Morris Fuller Benton 1901.

Trennungen. Als Trennzeichen am Zeilenende stehen oft =, jedenfalls in Fraktur. Die OCR-Leser verwechseln das dann mit Bindestrichen und Leerzeichen. Vielleicht empfiehlt es sich da, von vorne herein "- " (also Bindestrich+leer) herauszuwerfen. Schaden kann das wenig.
   Ein Sonderfall ist die alte Trennung von ck in k-k, etwa recken in rek-ken. Da muss man das ungetrennte Wort einsetzen.
   Im Ergebnis sollten jedenfalls keine Trennungen vorkommen, und Binde-Striche sollten echte solche sein.

Orthographie. Ich schlage vor, dezent auf die neue deutsche Rechtschreibung umzusetzen. Der Leser soll nicht unnötig an Ungewohntem hängenbleiben, und Suchmaschinen sollen Gesuchtes mit der üblichen Schreibweise finden können. Die neue Worttrennung setze ich nicht ein, wohlfühen bleibt bei mir ein Wort – in der neuen Rechtschreibung übrigens auch, keine Angst. Wenn alte Schreibweisen allerdings typisch sind, sagen wir Ribl statt Riebl oder Riebel, so lasse ich das. So etwas erkläre ich sowieso in einer Fußnote und erwähne dort moderne, unterschiedliche Schreibweisen. Hauptsächlich das daß mache ich zu dass, das reicht oft schon, um den Text modern lesbar zu machen. Und das geht mit Suchen und Ersetzen.
   Übrigens: Das ß ist durchaus noch da im Deutschen, Straße ist so geblieben, Fluss nicht. Weil durch generelles Ersetzen von ß zu ss unwiederbringlich etwas verloren geht (etwa bei Maßnahme zu Massnahme), würde ich das auch für noch so geschätzte Schweizer nicht machen. (Siehe auch unten.)
   Zu Einzelheiten siehe:
 http://blogabissl.blogspot.com/2015/01/mild-auf-neue-rechtschreibung-andern.html

Gedankenstriche sind länger als Bindestriche und haben bei uns vor und hinter sich eine Leerstelle. Auch alte, ganz lange Streckstriche ersetze man durch Gedankenstriche, die sind nicht mehr üblich.

Fußnoten. Originalfußnoten ändere ich entweder in Endnoten oder bringe sie am Ende des zugehörigen Absatzes, weil der originale Seitenumbruch ja verlorengeht beim Transcribieren. Eigene Fußnoten baue ich zahlreich ein, und zwar immer dort, wo sich der typische Leser etwas nicht erklären kann. (Fußnoten samt ihrem Inhalt lassen sich später in Word durch Ersetzen über Sonstiges, dann Fußnotenzeichen (^f) restlos weglöschen, wenn einer mein Gequassel nicht mag.)
   Bei der Suche nach mir Unbekannten im Text entdecke ich selbst für mich ganz neue Sachen, die sogar die Wikipedia nicht kennt, eine Furgel zum Beispiel. Das aber ist ein anderes Thema.

S p e r r u n g e n und andere Auszeichnungen im Text. Natürlich könnte man eine Sperrung durch größeren Buchstabenabstand darstellen, in Word Format, Zeichen, Zeichenabstand, Laufweite. Bei weiterer Verarbeitung eines Textes geht dergleichen mühsame Finesse aber verloren. Ich ersetze Sperrungen durch die heute übliche mildeste Auszeichnung, Kursivschrift, oder ich lasse Sperrungen ganz unberücksichtigt. Sie dienten der Lesehilfe und sind dann halt jetzt weg.
   Mehr zum Thema Auszeichnungen von mir auf www.Joern.De/satz.htm.
Wenn mir noch etwas einfällt, schreibe ich es später dazu: Segen korrigierbarer Blogs!*)
Sie können mir ruhig mailen zum Thema, Fritz@Joern.De

Permanentadresse diesen Blogs:  http://blogabissl.blogspot.com/2014/01/alte-texte-bearbeiten.html

*) Die einzige Fraktur, »Old English Text MC«, die Microsoft mitgibt (keine Ahnung, wie die bei Apple erscheint), ist eine ganz fürchterlich überladene Schrift. Standardfraktur ist Bauhaus dagegen. Allerdings gibt’s in Unicode (und damit in HTML, wenn’s gut geht) keine Frakturzeichen. Fraktur ist eine Schriftvariante, keine eigene Schrift. Trotzdem gibt’s ein paar mathematische Zeichen, etwa das ℜ, siehe die gelb markierten Zeichen hier.

Als PS ein Stück aus »Zweiundfunfzig Altfranzösische Lieder und Leiche«, »aus Handschriften zu Bern und Neuenburg«, 1846, wieder einmal dank Google Books! Dort sogar gratis als E-Book zu haben.
Ein altfranzösisches Lied (oder Leich?)
Schon im Vorwort stets æ-Ligatur statt ä, Ue für Ü, natürlich langes ſ, und, wie wohl bis zur ersten deutschen Rechtschreibreform 1901 (oder passierte das schon 1876?) üblich: muss mit ss. Und hinter dem Titel ein Punkt, den man längst nicht mehr setzt. Was hier meine gesuchten Leiche sind, weiß ich wieder einmal dank Wikipedia, Stichwort Leich.
    Zur Geschichte u. a. des dass hier die Geschichte der Rechtschreibreformen, besagend:
   »1879: In Österreich wird nach kurzem Vokal die ss-Schreibung statt ß eingeführt.«
   »1901: … wird die Heysesche ss-Schreibung abgelehnt und daraufhin 1902 in Österreich wiederabgeschafft.«

Kürzel. Hier eine weitere Rarität, aus der Wikipedia: »In vielen mittelalterlichen, aber auch in neuzeitlichen Dokumenten findet man ein dem ß gleichendes Zeichen als Abkürzung für sch, wie etwa als Einzelzeichen für die Währung Schilling oder die Abkürzung „ßo“ für das Zählmaß Schock
· Mittelhochdeutsche Kürzel hier.

Link zu diesem Eintrag: http://blogabissl.blogspot.de/2014/01/alte-texte-bearbeiten.html

17. Januar 2014

Fraktur lesen

Mit lesen meine ich nicht mit dem Auge, sondern mit dem Computer;
mit Fraktur meine ich generell gebrochene Schriften im Gegensatz zu Antiqua.
Katholische Messbücher, Schott 1953, Gotteslob 1975
Zur Klarstellung. Die ganz linke Spalte im Bild (klickbar), die lateinische, und das Buch darunter sind in Antiqua gesetzt, unserer heutigen normalen Druck­schrift. Die rechte Spalte des alten Messbuchs (deutsch) und das noch aktuelle »Gotteslob« sind in Fraktur gesetzt. Kein Wun­der, dass man Fraktur eine alte deutsche Schrift nennt, was sie zwar war, aber längst nicht aus­schließ­lich. Fraktur wurde in vielen nordischen Ländern verwendet, auch in England, weil sie so schön ist, dort dann aber schon eher abgeschafft als in Deutschland, wo sie ein nationalsozialistischer Erlass 1941 verbot. Genug »frakturiert«. (Mehr zum abgebildeten Thema »pro multis« hier.)
   Will man Fraktur heutigen Lesern und vor allem Computern lesbar machen, und damit durchsuchbar und auffindbar, so muss man sie einscannen (300 dpi sind recht) und optisch lesen. Der Vorgang heißt OCR, optical character recognition, und wird für Antiqua (diese Schriftart hier) häufig angeboten – eben weil die heute allein gängige Antiqua für Mensch und Maschine so einfach zu lesen ist. Fraktur aber macht Probleme. Ein schönes Beispiel finden Sie in der NZZ-Suche auf http://blogabissl.blogspot.com/2017/09/online-suche-nach-nzz-artikeln.html.

Online mit “FineReader” von “Abbyy” – Update 2020,  kursiv
Fraktur-OCR macht man am besten für wenig Geld online, sprich »in der Wolke«. Dort findet man den Fachmann für Frakturlesen und OCR, “Abbyy” aus Moskau, mit seinem “FineReader”. Aktuell (Mai 2016) kosten z.B. 200 Seiten fünf Euro, zu zahlen im voraus mit Paypal oder Kreditkarte. Link https://finereaderonline.com/en-us/Store#store-period-month, dort …
 … eventuell den grünen Schiebeschalter anklicken und nach links schieben, um die preiswerten Monatsabonnements zu sehen! Probieren ist gratis: Eine »Trial-Seriennummer« für 50 Seiten normale OCR und 50 Seiten Fraktur anfordern.
   Die Fraktur-Seiten müssen als Bilddateien oder pdf am eigenen Rechner vorliegen. Dann geht man online und auf
   https://finereaderonline.com/en-us/Tasks/Create – klappt weiter gut!
Gleich oben “Recognize” anklicken.












Dort erklärt sich alles fast von selbst. Oben gibt man die Quelldatei an. In der Mitte unter Punkt 2 die Eingabesprache: German. Dann muss unbedingt auf “black-letter typeface” „Enable Fraktur“ umgestellt werden (bei “Click here”), so wie im Bild. Sonst kommt Mist heraus.

Also Punkt 1: Hochladedatei auswählen – eine Bilddatei, z.B. JPG
Sollte unter Punkt 2 Deutsch links als Sprache fehlen, macht nichts, einfach gleich rechts Enable Fraktur OCR [?] wählen!

Hier muss man neben dem Wort document auf „Enable Fraktur OCR [?]“ klicken:
 – und sieht dann diese, so für Fraktur einzig richtige Einstellung:

Unten wählt man das Ausgabeformat. Ich nehme gern .rtf. Klappt prima, 20 bis 50 Sekunden je Seite. Die Russen merken sich Ihre Voreisstellungen.

Exportieren ließ ich mir das Ergebnis nicht, klickte gleich auf die RTF-Datei Sprachwandel.P …7.rtf. 
   Das war das Original gewesen. Ich verdanke es Professor Schlosser in Frankfurt:

 Und hier das Ergebnis, das als RTF kam, hier ebenfalls als Bild (Screenshot) dargestellt:
Und hier korrigiert, aber in der alten Schreibung belassen:




Das Pfeiferauchen ändert die Sprache  
   Der bekannte englische Sprachforscher Ernest Curzon veröffentlicht jetzt eine Broschüre, in der er die Ergebnisse seiner langjährigen Studien über die Entwicklung der englischen Sprache bekannt gibt. Curzon kommt nun in bezug auf die Entwicklung der englischen Sprache und besonders auf ihre typische Kürze in Wort und Satz zu überraschenden Ergebnissen. So schreibt er dem Pfeifenrauchen einen maßgebenden Einfluß auf die Tendenz zur sprachlichen Kürze zu. Weil der Pfeifenraucher gezwungen ist, nicht nur schnell, sondern auch in möglichst kurzen Wendungen zu sprechen, um die während des Sprechens im Munde gehaltene Pfeife nicht ausgehen zu lassen, hätten sich die Endungen der Worte im Englischen nach und nach immer mehr abgeschliffen und sind dann in der verkürzten Form in die Umgangssprache eingegangen. Bisher hat sich die wissenschaftliche Sprachwissenschaft zu dieser Behauptung Curzons noch nicht geäußert.


Normalerweise würde ich den alten Text leicht modernisieren, damit dem modernen Leser nicht Sachen auffallen, die der Schreiber nicht hatte hervorheben wollen, hier etwa »Pfeifenrauchen« statt »Pfeiferauchen«. Texte sollen sich glatt lesen. Also erst [Link:] »Mild auf neue Rechtschreibung ändern«.  

Ein anderer Online-Service, der mit Tesseract arbeitet, “OCRextrAct”, ist kostenlos: http://www.ocr-extract.com/ (noch nicht probiert, mehr unten und im PS).
   Von Abbyy gibt’s auch eine Off-line-Suite zum Installieren am PC oder verteilt im eigenen Netz, 460 MByte, ein Hammer, die sich nur empfiehlt, wenn man massenhaft und vielleicht sogar zu mehreren Fraktur einlesen möchte. Ich bin damit auf Anhieb nicht zurechtgekommen. Der Online-Dienst ist da viel besser.

Offline mit “Tesseract”

“Tesseract” hat eine lange Geschichte; jedenfalls ist es ganz kostenlos.
   Hier, wie ich’s auf meinem Rechner zum Laufen bekommen habe.
   Ich verwende dazu “FreeOCR” von http://www.paperfile.net/. “Download” bringt einen auf http://www.paperfile.net/download.html bezw. auf http://www.paperfile.net/download2.html.
   Danach installiert man mit der heruntergeladenen Datei freeocr.exe (405 kB) das Programm “FreeOCR”. Es holt dabei weitere Software aus dem Netz und installiert sich normalerweise im Ordner C:\FreeOCR (nicht unter C:\Programme). Aufpassen: Beim Installieren wird einem allerlei zusätzliches Zeug angeboten, nichts Böses, aber hier für uns unnötig.
   Patch. Bevor man Fraktur erfolgreich scannen kann, muss noch die kleine Datei deu-frak.traineddata (z. Zt. 808 kByte) in den Ordner C:\FreeOCR\tessdata gespeichert werden, zu den anderen ähnlichen Dateien. Die Datei ist für deutsche Fraktur zuständig und hier zu finden: http://code.google.com/p/tesseract-ocr/downloads/detail?name=deu-frak.traineddata.gz&can=2&q=language+data&sort=summary, gezippt. – (Man sieht, Google ist schon dran, ein gutes Zeichen.)
   Die Datei “deu-frak.train…” benenne man vor dem Punkt um, etwa in “frk-train…”. Denn später in der Quellsprachauswahl (Klappmenü) von FreeOCR werden nur die ersten drei Zeichen gezeigt, also müssen bereits die unterscheidend sein.
   Jetzt ist man bereit zum Aufruf von “FreeOCR”. Entgegen alten Gerüchten ist das kein Kommandozeilenprogramm wie wohl Tesseract früher, sondern schön mausgeführt.
Echter Kamera-»Screenshot«
Wenn ich das (mit Gadwin Printscreen) direkt vom Bildschirm schaffe, baue ich’s noch ein.
“Open” und “Scan” erklären sich von selbst. Wichtig ist, wie gesagt, die “OCR Language: frk”. Die Testseite stammt von hier, das bereinigte und überarbeitete Ergebnis finden Sie hier.
   Die Bilder mit der Ausgangsschrift sollten schön gerade stehen, damit sich das Leseprogramm nicht mit den Zeilen vertut, sonst gibt es erstaunlich schlechte Ergebnisse, einfach keine. JPGs sollten möglichst mit bester Qualität abgespeichert worden sein. Schwarz-weiß und guter Kontrast sind besser als bunte Vorlagen. 
   Nach dem digitalen Lesevorgang kopiert man sich das Ergebnis hinein in eine Word-Datei – im Beispiel hier ist alles schon blau markiert (Strg+a Strg+c) –, oder lässt sich gleich eine Word-Datei ausgeben.
   Danach beginnt die eigentliche, schöne Arbeit: Das Versäubern von Fraktur-Text in Antiqua. Darüber ein andermal, Sie können sich ja schon einmal ein Beispiel, wei ich’s meine, ansehen: http://siebenfahr.com/Bauernjahr.pdf. – Inwischen mehr dazu gleich hier im nächsten Blog.

Kommentare und Danksagungen an mich: Fritz@Joern.De

Direkter Link zu diesem Eintrag: http://j.mp/2IwzoRK =
 http://blogabissl.blogspot.com/2014/01/fraktur-lesen.html

PS. Hier eine schöne (englische) Beschreibung, wie man PDF-Dateien mit Fraktur im Bild mit dem maschinenlesbaren und damit durchsuchbaren Inhalt hinterlegt.

Zugabe: Unbezahlte Werbung, sozusagen Productplacement, für Treventus.
Ein Buchscanner bei der Arbeit

Besucherzaehler