SlownikGeo

Projektbeschreibung

Hier finden Sie die Beschreibung des Projektes in Polnisch.

Einleitung

Texterschließung und Übersetzung der 16 Bände (14 785 Seiten) der Buchreihe: Słownik Geograficzny Królestwa Polskiego (i innych krajów slowianskich) (1880 - 1902) (deutsch: Geographisches Lexikon des Königreiches Polen (und anderer slawischer Länder)) - aus dem Polnischen ins Deutsche und Aufbereitung der darin enthaltenen Daten für das Genealogische Ortsverzeichnis GOV, GenWiki und Hic Leones.

Um sich einen Begriff zu machen, welche Arbeit der Herausgeber Filip Sulimierski und seine fast 700 Mitarbeiter in den Jahren 1880 - 1902 geleistet haben, vergegenwärtige man sich, dass der gesamte Text des Słownik Geograficzny (hintereinandergereiht als ein einziger Textfaden) eine Länge von etwa 130000 km hat (d.h. mehr als 3-mal um den Äquator ...).

Vorgeschichte

2003 veröffentlichte die PGSA die 16 Bände des Słownik Geograficzny Królestwa Polskiego auf CD-ROM (DJVU-Format). Dieses Projekt wurde durchgeführt von Rafał T. Prinke (Chefredakteur), Poznan, Poland, (Digitalisierung: Michał and Stanisław Prinke) und mit weiterem Material von William F. Hoffman und finanziert durch die PGSA (Projekt-Manager: Kenneth Czerwinski; Projekt-Kommittee: Marcia Bergman, Jim Czuchra, Virginia Hill, Rosalie Lindberg, Annmarie Utroska und Stanley Schmidt). Einige Einträge wurden durch Mitglieder der PGSA ins Englische übersetzt [1].

Idee

Die Bände des Słownik Geograficzny auf der CD-ROM der PGSA enthalten Beschreibungen aller Regionen, Städte, Dörfer und anderer Orte, Berge, Flüsse und Seen des Königreichs Polen (Kongresspolen) und im slawischen Sprachraum: die baltischen, westlichen und südlichen Gubernien (Gouvernements) des Russischen Reichs, Westpreußen und Ostpreußen, das Großherzogtum Posen und Preußisch Schlesien, Galizien, Wolhynien, Podolien, Polesien, Österreichisch Schlesien, Mähren, die slovakischen Teile von Ungarn und der Bukowina, und zusätzlich auch weitere wichtige Orte in den übrigen Gubernien im europäischen Russland (als da sind Landsitze, Kirchspiele, Eisenbahnstationen etc.) (geschätzt: etwa 315 000 - 350 000 Einträge), aber

• es handelt sich um BILD-Dateien, die man nicht auf jeden Begriff hin absuchen kann und
• es ist polnischer Text, der nicht jedem (deutschen) Forscher direkt zugänglich ist.

Es ist also wünschenswert, diesen Schatz an Informationen für Kultur- und Familienforscher als

• TEXT-Datei (mit globalen Suchfunktionen absuchbar) und
• in deutscher Sprache zugänglich zu machen.

Vorarbeiten

Der Vorversuch, die BILD-Dateien der Słownik-Geograficzny-CD-ROM durch OCR (Texterkennung mit FineReader, Ver. 6.0) zu digitalisieren, ergab sehr gute Resultate (> 95 % korrekte TEXT-Dateien), einschließlich der spezifischen polnischen Schriftzeichen.

Rechtliches

H.V.J.Kolbe (Hic Leones) kontaktierte die PGSA schriftlich mit Beispielen dieser OCR-Resultate und mit folgendem Vorschlag:

• Die PGSA stellt Hic Leones die Bilddateien des Słownik Geograficzny offiziell und unentgeltlich zur Verfügung, um die gesamten 14 785 Seiten von BILD-Dateien in TEXT-Dateien zu überführen.

• Als Gegenleistung erhält die PGSA diese TEXT-Dateien von Hic Leones für eigene Zwecke (z.B. Übersetzung ins Englische, weitere CDs (nun Text + Bild) etc.) ohne weitere Auflagen.

Die PGSA stand diesem Angebot positiv gegenüber und im Sept. 2005 erhielt H.V.J.Kolbe eine positive schriftliche Zusage des PGSA-Vorstandes (Board of Directors). Damit war die legale Seite der Datenverwendung geklärt und zusätzlich ein neuer, interessanter Kontakt (PGSA ) zur Familienforschung in Polen geschaffen.

Dieses Ergebnis wurde von Hic Leones 2005 auf dem 57. Genealogentag in Hannover bekannt gegeben.

Ende Sept. 2005 war die TEXT-Digitalisierung aller 14 785 Seiten des Słownik Geograficzny abgeschlossen und Ende Okt. 2005 wurde der gesamte polnischen Text auf CD an Cynthia Piech geschickt.

Das Projekt

Modus

Wissenschaftliche Zusammenarbeit.

Projekt Partner und deren Beteiligung

PGSA (Polish Genealogical Society of America)

http://www.pgsa.org

• Scannen der 14 785 Seiten des Słownik Geograficzny und Speicherung im Bildformat
• Edition des Słownik Geograficzny Królestwa Polskiego auf CD-ROM

Hic Leones

• Konzept und Koordination des Projektes
• Texterkennung (OCR) der 14 785 Seiten des Słownik Geograficzny und Speicherung im Textformat
• Zusammenstellung eines 1000-seitigen PL => D Lexikons von 1879 im PDF-Format (frei für Mitarbeiter)
• letzte Aktivität Dezember 2013

CompGen

(Verein für Computergenealogie e. V.)

• Bereitstellung des Arbeitsdatei-Import/Export-Moduls
• Co-Koordination des Projektes

FGG (Forschungsgruppe Grafschaft Glatz)

http://www.familienforschung-grafschaft-glatz.de/html/projects/projects.html

• Zugang zu einem Übersetzungsprogramm PL => D zur Vor/Roh-Übersetzung des Textes

Voraussetzungen

Um das enorme Textvolumen (formatiert etwa 250 MB Text, unformatiert etwa 70 - 80 MB) effizient und zügig ins Deutsche zu übersetzen, müssen die Daten in eine Datenbank (d.h. temporäre Arbeitsdatenbank) überführt werden.

Seitenweise Auszüge dieser Arbeitsdatenbank können dann im reinen Textformat (zusammen mit einem speziellen Font (für die Fremdcharaktere) und einer knappen Arbeitsanleitung) an interessierte, sprachkundige Forscher verschickt werden (s.u. - Beispiel der Zusammenarbeit mit einem Übersetzer -), die Seiten ihres eigenen Interesses (!) dann in Ruhe (offline) bearbeiten und übersetzen können .

Eine Abschätzung hat ergeben, dass bereits nach 1-monatiger Vorarbeit, in denen in der Arbeitsdatenbank durch Suche/Ersetze die polnischen Abkürzungen durch deutsche ersetzt und auch andere Standardbegriffe (zusammen etwa 300 - 400 Termini, z. B. Bahnhof, Poststation, Kirche, Einwohner etc.) 'eingedeutscht' werden, etwa 40 % des Textes allgemein verständlich werden, auch für jemanden der nicht des Polnischen mächtig ist.

Zeitplan

Das Projekt umfasst folgende Schritte [ grün = erledigt oder in Bearbeitung, rot = in Planung ]

• Scan der 14 785 Seiten des Słownik Geograficzny und Edition der CD-ROM (erledigt durch die PGSA im Jahre 2003)

• OCR der 14 785 Bilddateien des Słownik Geograficzny und Speicherung der Textdateien im CP 1250 Format (erledigt durch Hic Leones im Sept. 2005)

• Erstellung der PDF-Datei eines PL => D Lexikon von 1879 mit Lesezeichen zur schnellen Wortfindung als Übersetzungshilfe (erledigt durch Hic Leones im Dez. 2006; auf der CompGen-CD 2006/2007 zu finden).

• Programmierung der Import/Export Module zur Erweiterung der Arbeitsdatenbank (bis Mitte Feb. 2007).

• Import der 14 785 Textdateien des Słownik Geograficzny in die Arbeitsdatenbank unter Berücksichtigung der polnischen Fremdcharaktere (Mitte Feb. 2007).

• Erstellung einer kontinuierlich zu erweiternden Wort-für-Wort Übersetzungsliste (seit Anfang Jan. 2007).

• Zusammenfassung des Projektes in einem Übersichtsartikel für die Zeitschrift 'Computergenealogie' (Anfang Feb. 2007, Publikation Ende März 2007.

• Intern: Entfernung von systematischen OCR-Fehlern, unnötigen Bindestrichen und Leerzeichen; Einfügen von Leerzeilen hinter jeden einzelnen geographischen Eintrag. (kontinuierlich ab Mitte Feb. 2007).

• Intern: Dokumentiertes Suche/Ersetze der polnischen Abkürzungen durch deutsche Abkürzungen (kontinuierlich ab Mitte/Ende Feb. 2007).

• Intern: Dokumentiertes Suche/Ersetze von weiteren (ca. 300) Standardbegriffen (kontinuierlich ab Mitte/Ende Feb. 2007).

• Intern: Erstellung von Listen geographischer Begriffe, die nach bestimmten Verwaltungsbezeichnungen (-Gub.- und -Pow.-) folgen. Dies geschieht durch Parser-Analyse. Diese Begriffe werden dann nach Varianten eines bestimmten Hauptbegriffes sortiert und in Folge in der Datenbank homogen durch diesen Hauptbegriff ersetzt (kontinuierlich seit Mitte Mai 2007).

• Intern: Dokumentiertes Suche/Ersetze von weiteren (ca. 800) Standardbegriffen (d.h. Grundwortschatz) der polnischen Sprache (kontinuierlich ab Mitte Jun. 2007).

• Intern: Alle geographische Begriffe, die auf die Bezeichnung 'Kom.' folgen (d.h. Komitat, d.h. Verwaltungseinheit in Ungarn; Vorkommen auf etwa 1100 Seiten), sind von den polnischen auf die ungarischen Begriffe standardisiert worden (Juni/July 2007).

• Vorstellung und Vortrag des Projektes auf dem Genealogentag 2007 in Ludwigshafen (Thema: "Ortsbezüge in der Genealogie") (15. Sept. 2007, 18:15h).

• Intern: Die Formatierung (Leerzeile zwischen einzelnen Einträgen) wurde abgeschlossen nach zweimaligem Parsen über den gesamten Text und manueller Korrektur der angezeigten potentiellen Fehlstellen (Sept. 2007).

• Für das SlownikGeo Projekt werden viele Freiwillige benötigt. Nach Absprache mit den Listen-Moderatoren: Ansage des Projektes in den genealogischen Mailinglisten (2008) und Aufruf zur externen Mitarbeit. Wiederholung dieser Ansage (mit kurzem Fortschrittsbericht): etwa alle 2 Monate.
  • Änderung: Mittlerweile hat sich ein anderer Arbeitsmodus etabliert: Ein Hauptübersetzer zusammen mit mehreren anderen Personen, die Polnisch als Muttersprache haben, damit die übersetzung in standardisierter Form erfolgt. Mitarbeit von Freiwilligen wird also erst nötig (Kontakt: Peter Lingnau), wenn komplett übersetzte Datensätze ins GenWiki oder ins GOV eingearbeitet werden müssen.

• Erstellung eines Glossars, welche polnischen Begriffe beibehalten werden und separat erklärt werden sollten (in Zusammenarbeit mit Prof. Eichler, Leipzig) (ab Mitte/Ende Feb. 2007).

• Entsprechende Aufrufe in Vereinszeitschriften (kontinuierlich ab Ende Juli 2007).
  • Änderung: Kann entfallen.

• Einarbeitung von übersetzten und korrigierten Seiten in GOV und Hic Leones: Sobald eine Seite erschlossen ist, wird sie entsprechend markiert (und gegen weitere Veränderungen geschützt) und an Mitarbeiter überführt, die die dort beschriebenen Orte in GOV eintragen (kontinuierlich ab Januar 2011).

• Aus der bisherigen Arbeit hat sich folgendes ergeben:
  • Korrektur in der Datenbank durch Suchen/Ersetzen hat sich als aufwändiger gestaltet als vorhergesehen wurde (Ein Grund ist, dass einige Ortsnamen nur ein einziges Mal im Gesamttext vorkommen, aber trotzdem im Original verglichen und verifiziert werden müssen). Pro Jahr können dadurch nur etwa das Äquivalent eines Bandes (etwa 960 Seiten) übersetzt werden, d.h. Ende 2010 werden etwa 3 Bände übersetzt sein. Geplanter Abschluss des Projektes (vorsichtige Schätzung): A.D. 2023.

Die polnischen Autoren dieses Werkes benötigten 22 Jahre zur Recherche, Erfassung, Korrektur und Edition dieser enzyklopädischen Serie. Mit den Mitteln der derzeitigen Technik sollte deshalb die Übersetzung und Einarbeitung in einem Viertel dieser Zeit, d.h. 5 - 6 Jahre, zu bewältigen sein ...

Status Quo

Hier wird in unregelmässigen Abständen die Veränderung des Textes in der Arbeitsdatenbank demonstriert.

Von den 14785 Seiten wurde 1 Seite (Seite 406, Band 6) willkürlich ausgewählt.

Es kann hier eingesehen werden der Status Quo am 20. Feb. 2007 :

(a) die Originalseite aus dem Buch

(b) die Seite als OCR-Rohtext, d.h. direkt nach dem Import der Seite in die Arbeitsdatenbank und

(c) die Seite nach globaler Formatierung, Entfernen unnötiger Leerstellen und Bearbeitung von OCR-Fehlern.

[OCR = Optical Character Recognition = maschinelle Texterkennung]

Beispiel der Zusammenarbeit mit einem Übersetzer

• Wer kann mitmachen ?
  • Für die Übersetzung suchen wir engagierte Mitarbeiter, die das Polnische lesen, schreiben und ins Deutsche übersetzen können. Wenn uns eine Vorliebe für eine bestimmte Region (z.B. ein Gouvernement) oder eine Großstadt mitgeteilt wird, wird dieses (soweit möglich) in der Auswahl der Seiten berücksichtigt.
  • Für die Einarbeitung ins GOV sind Kenntnisse in polnischer Sprache nicht nötig: Hier kann jeder mitmachen, der daran interessiert ist!

• Ein polnisch versierter Mitarbeiter signalisiert seine Bereitschaft zur Mitarbeit (Kontaktadressen siehe unten). Er/Sie erhält (per eMail):
  • die TEXT-Seiten seiner Wahl (z.B. 10) im Textformat (einschließlich des Spezialfonts)
  • die entsprechenden original 10 BILD-Dateien des Slownik Geograficzny (TIF-Dateien) zur Kontrolle
  • eine kurze Anleitung zur Bearbeitung
  • eine einfache Excel-Datei, in der die bisherigen Wortersetzungen dokumentiert sind
  • die PDF-Datei eines PL => D Lexikon von 1879 mit Lesezeichen zur schnellen Wortfindung (auf der CompGen-CD 2006/2007 zu finden oder im Download)

• Nun bearbeitet er/sie die einzelnen Seiten. Findet er/sie ein Wort (einen "Standardbegriff"), das von den Projekt-Coordinatoren in der Arbeitsdatenbank global ersetzt werden soll, trägt er/sie das Wort und sein deutsches Äquivalent in die Exceldatei ein . Wenn er/sie mit der Übersetzung fertig ist, schickt er/sie die 10 Textdateien wieder an den Absender zurück, der sie nun wieder mit der Arbeitsdatenbank vereinigt (Re-Import) und entsprechend zur Weiterverarbeitung markiert.

Noch Fragen? Interesse an einer Mitarbeit?

Wenden Sie sich bitte an:

Dr. Hanno V. J. Kolbe (Koordinator)
6, rue des Tuiliers
67204 Achenheim/Frankreich
E-Mail: <email>kolbe@hicleones.com</email>

Peter Lingnau (Co-Koordinator, GOV)

Vortrag

Auf dem 59. Deutschen Genealogentag am 15.9.2007 in Ludwigshafen wurde das Projekt vorgestellt. Hier der Vortrag als PDF-File (1 MB).