GEDCOM/CHAR-Tag: Unterschied zwischen den Versionen

aus GenWiki, dem genealogischen Lexikon zum Mitmachen.
Zur Navigation springen Zur Suche springen
(Entscheidungsvorschlag E3 geändert, Vermerk zu UNICODE im letzten Kapitel, Entscheid.alternativen im letzten Kapitel entfernt, BOM umformuliert)
K (Engl Link entfernt)
 
(20 dazwischenliegende Versionen von 6 Benutzern werden nicht angezeigt)
Zeile 44: Zeile 44:
=== Optionale Angaben ===
=== Optionale Angaben ===


keine
Über eine dem tag CHAR direkt untergeordnetes


== Entscheidungsvorschlag zu CHAR ==
'''2 VERS Zeichensatzkodierung-Versionsangabe'''


Unter Einarbeitung der Diskussion in der Gedcom-L wird hier ein erster Versuch gemacht, einen Entscheidungsvorschlag vorzustellen. Die Punkte sind gegliedert und mit Punktkennzeichnungen wie E1, E2, ..., I1, ... bezeichnet, damit in der Diskussion leichter darauf verwiesen werden kann.
kann die verwendete Version des in CHAR angegebenen Zeichensatzes näher spezifiziert werden.


Der Vorschlag wird jetzt zur Diskussion gestellt. Er kann abgeändert oder durch Alternativvorschläge ergänzt werden. Nach der Diskussion soll es dann über eine Abstimmung zu einer Vereinbarung zu diesem Umfang kommen.
== Vereinbarungen der Programmautoren zu CHAR ==


In einer intensiven Diskussion in der Liste Gedcom-L sind die folgenden Vereinbarungen zur Kodierung erarbeitet und in einer Abstimmung ( stimmberechtigt: die in der Liste angemeldeten 23 Programmautoren ) verabschiedet worden.


=== Vorschläge zu Vereinbarungen zu CHAR bezüglich Export ===
=== Vereinbarungen zu CHAR bezüglich Export ===


* '''E1 Angabe der Kodierung'''
* '''E1 Angabe der Kodierung'''
** Die in der Datei verwendete Kodierung wird im Kopf („Header“) der Datei explizit angegeben in der Form:
** Die in der Datei verwendete Kodierung muss im Kopf ("Header") der Datei explizit angegeben werden in der Form:
** 1 CHAR Zeichensatzkodierung
** 1 CHAR Zeichensatzkodierung


* '''E2 Standard-Kodierung'''
* '''E2 Standard-Kodierung'''
** Der Export in der Kodierung UTF-8 muss unterstützt werden, diese Kodierung wird als Standard-Kodierung eingestellt.
** Der Export in der Kodierung UTF-8 muss unterstützt werden, diese Kodierung sollte als Standard-Kodierung eingestellt werden.


* '''E3 Optionale Kodierungen'''
* '''E3 Optionale Kodierungen'''
** Weitere, im GEDCOM-Standard 5.5.1 aufgeführte Kodierungen dürfen optional unterstützt werden: ANSEL, ASCII, UCS-2 BE, UCS-2 LE, UTF-16 BE, UTF-16 LE. Die Verwendung der Kodierungen UCS-2 und UTF-16 wird nicht empfohlen.
** Die Kodierungen ANSEL, ASCII, UNICODE (beinhaltet UCS-2 BE, UCS-2 LE, UTF-16 BE, UTF-16 LE) dürfen optional unterstützt werden. Die Verwendung der Kodierung UNICODE wird nicht empfohlen.


* '''E4 Duldung ANSI'''
* '''E4 Duldung ANSI'''
** Die Unterstützung der ANSI Kodierung wird geduldet, d.h. sie darf als Option unterstützt werden, obwohl ANSI nach GEDCOM Standard 5.5.1 nicht zulässig ist.
** Die Unterstützung der ANSI Kodierung wird geduldet, d.h. sie darf als Option unterstützt werden, obwohl ANSI nach GEDCOM Standard 5.5.1 nicht zulässig ist.
* '''E5 Warnung bei unvollständigem Export'''
** Wählt der Anwender beim Export eine Kodierung, die nicht alle in der aktuellen Datei vorkommenden Zeichen unterstützt, so gibt das Programm eine Warnung aus.


* '''E6 Position CHAR im Header'''
* '''E6 Position CHAR im Header'''
** CHAR wird im Header so weit nach oben gestellt, dass vor dem tag CHAR keine Zeichen ausserhalb des US_ASCII Umfanges auftreten.
** Bei Dateien ohne Byte Order Mark (BOM) sollte CHAR im Header so weit nach oben gestellt werden, dass vor dem tag CHAR keine Zeichen ausserhalb des US_ASCII Umfanges auftreten.


* '''E7 Ausschluss weiterer Kodierungen im Export'''
** Andere Kodierungen als die in E2, E3 und E4 genannten dürfen im Export nicht verwendet werden.


=== Vorschläge zu Vereinbarungen zu CHAR bezüglich Import ===
=== Vereinbarungen zu CHAR bezüglich Import ===


* '''I1 Unterstützung von Kodierungen'''
* '''I1 Unterstützung von Kodierungen'''
** Beim Import müssen die Kodierungen UTF-8 und ANSEL unterstützt werden
** Beim Import müssen die Kodierungen UTF-8 und ANSEL unterstützt werden.


* '''I2 Unterstützung weiterer Kodierungen'''
* '''I2 Unterstützung weiterer Kodierungen'''
** Weitere Kodierungen aus E3 dürfen unterstützt werden, die Unterstützung wird empfohlen
** Weitere Kodierungen dürfen beim Import ohne Einschränkung unterstützt werden, die Unterstützung der Kodierungen aus E3 wird empfohlen.


* '''I3 Duldung und Unterstützung ANSI'''
* '''I3 Duldung und Unterstützung ANSI'''
** Die Unterstützung der Kodierung ANSI wird geduldet. Für eine Übergangszeit muss der Import von ANSI-kodierten Dateien unterstützt werden. Beim Import von ANSI Dateien darf das Programm den Nutzer nach der Codepage fragen.
** Die Kodierung ANSI darf unterstützt werden. Für eine Übergangszeit muss der Import von ANSI-kodierten Dateien unterstützt werden.


* '''I4 Erkennung der Kodierung'''
* '''I4 Erkennung der Kodierung'''
** Die Kodierung muss automatisch vom Programm erkannt werden, wenn sie nach E1 und E6 korrekt angegeben ist.  
** Die Kodierung muss automatisch vom Programm erkannt werden, wenn sie nach E1 oder B1 korrekt angegeben ist.  


* '''I5 Warnmeldung bei unvollständigem Import'''
* '''I5 Warnmeldung bei unvollständigem Import'''
** Kann eine importierte Datei mit den in I1 vereinbarten Kodierungen intern nicht vollständig verarbeitet werden, so wird dem Nutzer eine Warnmeldung gegeben. Tritt das Problem mit nach I2 oder I3 kodierten Dateien auf, so soll ebenfalls eine Warnmeldung gegeben werden.
** Kann eine importierte Datei aufgrund ihrer Kodierungen intern nicht vollständig verarbeitet werden, so sollte dem Nutzer eine Warnmeldung gegeben werden.
 
=== Vereinbarungen zur Kennzeichnung durch Byte Order Mark (BOM) ===


* '''B1 BOM beim Export'''
** Das Byte Order Mark (BOM) muss bei den Kodierungen UTF-8 und UNICODE (USC-2 und UTF-16) ausgegeben werden.


=== Kennzeichnung durch Byte Order Mark (BOM) ===
* '''B2 BOM beim Import'''
** Über Erkennungsroutinen muss eine automatische Erkennung sichergestellt werden, ob ein BOM in der einzulesenden Datei vorhanden ist, und wenn ja, welches BOM.


* '''B1 BOM beim Export'''
== Behandlung/Darstellung schwieriger Situationen ==
** Das Byte Order Mark (BOM) wird bei UNICODE-Kodierungen ( UTF-8, USC-2, UTF-16 ) ausgegeben.


Alternativvorschlag:
=== Information zur Abstimmung ===


* '''B1 -A- BOM beim Export'''
Folgender Entscheidungs-Vorschlag fand bei der Abstimmung keine Mehrheit:
** Das Byte Order Mark (BOM) kann beim Export optional ausgegeben werden.


* '''B2 BOM beim Import'''
* '''E5 Warnung bei unvollständigem Export'''
** Über Erkennungsroutinen wird eine automatische Erkennung sichergestellt, ob ein BOM in der einzulesenden Datei vorhanden ist, und wenn ja, welches BOM.
** Wählt der Anwender beim Export eine Kodierung, die nicht alle in der aktuellen Datei vorkommenden Zeichen unterstützt, so sollte das Programm eine Warnung ausgeben.


Folgende Alternativformulierung B1 -A- wurde zugunsten der oben dargestellten Version B1 nicht angenommen:
* '''B1 -A- BOM beim Export'''
** Das Byte Order Mark (BOM) darf beim Export ausgegeben werden.


== Behandlung/Darstellung schwieriger Situationen ==


Folgende Themen sind derzeit in der GEDCOM-Arbeitsgruppe von Compgen mit den Programmentwicklern in Diskussion:  
Folgende Themen sind in der GEDCOM-Arbeitsgruppe von Compgen mit den Programmentwicklern bei der Behandlung zum Thema Kodierung / tag CHAR diskutiert worden:  


=== Kodierung "UNICODE" im GEDCOM Standard 5.5.1 ===
=== Kodierung "UNICODE" im GEDCOM Standard 5.5.1 ===


Der GEDCOM Standard 5.5.1 ist nicht eindeutig in der Aussage, was bei der Angabe von Zeichensatzkodierungen mit "UNICODE" gemeint ist. Es gibt hierfür sowohl die Interpretation, es sei UCS-2 gemeint als auch die Interpretation, es sei UTF-16 (jeweils in den Byte Orders BE und LE) gemeint.
Der GEDCOM Standard 5.5.1 ist nicht eindeutig in der Aussage, was bei der Angabe von Zeichensatzkodierungen mit "UNICODE" gemeint ist. Vieles spricht für die Interpretation, es sei UCS-2. Mit UNICODE 2.0 wurde die Kodierung UTF-16 als Nachfolger von UCS-2  eingeführt. Zu UTF-16 fehlen jedoch im GEDCOM-Standard 5.5.1 konkrete Aussagen.


Um bei der Vereinbarung unter den Programmautoren hier diese Unsicherheit nicht fortbestehen zu lassen, wurden im Punkt Export E3 explizit sowohl die UCS-2 als auch die UTF-16 Kodierungen aufgeführt.
Um bei der Vereinbarung unter den Programmautoren hier diese Unsicherheit nicht fortbestehen zu lassen, wurden im Punkt Export E3 explizit sowohl die UCS-2 als auch die UTF-16 Kodierungen aufgeführt.
Da jedoch mit UTF-8 eine gut unterstützte Kodierung zur Verfügung steht, die den vollen Zeichensatzumfang wie UTF-16 auch abbildet, haben die in der Liste Gedcom-L vertretenen Programmautoren im Anschluss an ihre Disksussion vereinbart, UTF-8 als Kodierung zu unterstützen und auch empfohlen, diese Kodierung in den Programmen als Standard einzustellen.
Ein sicherer Datentransfer über UCS-2 und insbesondere über UTF-16 bedarf weiterer Vereinbarungen, die hier nicht ausgearbeitet wurden.


=== Standard Kodierung beim Export ===
=== Standard Kodierung beim Export ===
Zeile 127: Zeile 137:
* ANSEL  
* ANSEL  
** Gute Unterstützung von internationalen Zeichen
** Gute Unterstützung von internationalen Zeichen
** Kaum benutzt und geringe Verbreitung
* UNICODE
* UNICODE
** Entspricht UCS-2 oder UTF-16.
** Entspricht UCS-2 (oder UTF-16, siehe oben).
** Gute Unterstützung von internationalen Zeichen, gleicher Umfang wie UTF-8
** Gute Unterstützung von internationalen Zeichen
** Wird von wenigen Programmen unterstützt
** UTF-16 gleicher Umfang wie UTF-8, die Einschränkungen bei UCS-2 sind für die Genealogie nicht relevant
** Wird von wenigen Programmen unterstützt, offene Probleme für die Umsetzung


Bemerkung: ANSI ist zwar nicht GEDCOM 5.5.1 konform, ist aber heute weitverbreitet und wird von vielen Genealogieprogrammen als das Standardformat eingesetzt. Es bestehen Probleme, wenn die Codepage nicht eindeutig oder richtig mit angegeben wird.
Bemerkung: ANSI ist zwar nicht GEDCOM 5.5.1 konform, ist aber heute weitverbreitet und wird von vielen Genealogieprogrammen als das Standardformat eingesetzt. Es bestehen Probleme, wenn die Codepage nicht eindeutig oder richtig mit angegeben wird.
Zeile 137: Zeile 147:
Status:
Status:


''Entscheidungsvorschlag formuliert''
''Vereinbarungen getroffen''
 


=== Benutzung der Byte Order Mark (BOM) bei UNICODE Kodierungen ===
=== Benutzung der Byte Order Mark (BOM) bei UNICODE Kodierungen ===
Zeile 151: Zeile 160:
Status:
Status:


''in Diskussion''
''Vereinbarungen getroffen''
 
 
=== Interpretation der ersten beiden Bytes einer GEDCOM-Datei ===
 
Eine GEDCOM-Datei beginnt mit der Zeile
* '''0 HEAD'''
 
Je nach Kodierung und Verwendung eines BOM finden sich folgende Angaben in den ersten beiden Bytes der GEDCOM-Datei:
{| {{Prettytable}}
! Bytes !! Bedeutung
|-
|
<code>0x30 0x20
 
0xef 0xbb
 
0xfe 0xff
 
0xff 0xfe
 
0x00 0x30
 
0x30 0x00</code>   
|
''Kein BOM, Kodierung ASCII, ANSI oder UTF-8''
 
''BOM für UTF-8 ( vollständiges BOM: ''<code>0xef 0xbb 0xbf</code> )
 
''BOM für UTF-16 BE''
 
''BOM für UTF-16 LE''
 
''Kein BOM, Kodierung UTF-16 BE''
 
''Kein BOM, Kodierung UTF-16 LE''
|}
 
Damit bietet die Auswertung der ersten beiden Bytes einer Datei die Möglichkeit, eine UTF-16 Kodierung eindeutig zu erkennen. Eine UTF-8 Kodierung wird nur erkannt, wenn das UTF-8 BOM angegeben wurde.
 
=== Ermittlung der Kodierung bei Beginn der Datei mit 0x30 0x20 ===
 
Eine Datei mit dem Inhalt 0x30 0x20 in den ersten Bytes muss weiter analysiert werden, ob sie in ASCII, ANSI oder UTF-8 Kodierung erstellt wird. Dies erfolgt in der Regel dann über
* '''1 CHAR Zeichensatzkodierung'''
 
Da sich die Kodierungen ASCII, ANSI und UTF-8 nicht unterscheiden für Zeichen des US_ASCII Umfanges, kann durch eine entsprechend frühe Position von 1 CHAR ... im Header sichergestellt werden, dass zunächst die Kodierung eingelesen wird, und dann erst Zeichen folgen, bei denen sich die Kodierungen und damit die Dekodierungen unterscheiden.


=== Versionsangaben bei UNICODE Kodierungen ===
=== Versionsangaben bei UNICODE Kodierungen ===


Zu klären bleibt, ob eine Versionsangabe bei UNICODE nötig oder optional sein soll.
Versionsangaben bei UNICODE werden nicht als notwendig eingestuft.


Status:
Status:


''OFFEN''
''Diskussion abgeschlossen''
 
=== Codepage bei ANSI Kodierung ===
 
Beim Export mit der Kodierung ANSI kann die verwendete Codepage mittels des tags VERS angegeben werden:
* '''1 CHAR ANSI'''
* '''2 VERS codepage'''
 
Mit
* '''1 CHAR ANSI'''
* '''2 VERS 1252'''
 
wird z.B. die Standard ANSI Codepage für westeuropäische Schriften beschrieben.
 
 
=== Zeilenende-Zeichen ===
 
Das Thema der für das Zeilenende verwendeten Zeichen ( CR, LF ) wurde nicht unter dem Thema CHAR diskutiert. Es wird im Zusammenhang mit den Themen Feldlängen und Fortsetzungszeilen ( CONC, CONT ) aufgegriffen. Die Dokumentation zum Zeilenende ist im GenWiki Artikel GEDCOM/Syntax_GEDCOM-Zeile zu finden.




<!-- Sortierfolge auf der Kategorienseite gemäß letzten Teil des Titelpfades -> also dem Tagnamen -->
[[Kategorie:GEDCOM-Tag|{{SUBPAGENAME}}]]
[[Kategorie:GEDCOM-Tag|{{SUBPAGENAME}}]]
[[Kategorie:GEDCOM-Tag-Fertig abgestimmt|{{SUBPAGENAME}}]]<!-- Sortierfolge auf der Kategorienseite gemäß letzten Teil des Titelpfades -> also dem Tagnamen -->

Aktuelle Version vom 19. September 2023, 15:38 Uhr

Name und Bedeutung

Tag

CHAR

Formelle Bezeichnung

CHAR

Deutsche Bezeichnung

CHAR steht für Character-set, auf Deutsch: Zeichensatz.

Verwendung

Über das tag CHAR soll die Kodierung der in der GEDCOM Datei benutzten Buchstaben und Zeichen festgelegt werden.

Formale Beschreibung zulässiger Werte

Basis

Basis dieser Beschreibung: GEDCOM Standard Draft 5.5.1

Der Standard erlaubt die Verwendung folgender Kodierungen:

- 8-Bit ANSEL

- ASCII (USA Version)

- UNICODE

- UTF-8

Standardfall

Jede GEDCOM Datei soll im Header Angaben zur benutzten Kodierung geben. Das Format ist wie folgt:

1 CHAR <Zeichensatzkodierung>

Beispiel:

1 CHAR UTF-8

! Achtung: Es sind nur folgende Kodierungen erlaubt.

<Zeichensatzkodierung> := ANSEL |UTF-8 | UNICODE | ASCII

Optionale Angaben

Über eine dem tag CHAR direkt untergeordnetes

2 VERS Zeichensatzkodierung-Versionsangabe

kann die verwendete Version des in CHAR angegebenen Zeichensatzes näher spezifiziert werden.

Vereinbarungen der Programmautoren zu CHAR

In einer intensiven Diskussion in der Liste Gedcom-L sind die folgenden Vereinbarungen zur Kodierung erarbeitet und in einer Abstimmung ( stimmberechtigt: die in der Liste angemeldeten 23 Programmautoren ) verabschiedet worden.

Vereinbarungen zu CHAR bezüglich Export

  • E1 Angabe der Kodierung
    • Die in der Datei verwendete Kodierung muss im Kopf ("Header") der Datei explizit angegeben werden in der Form:
    • 1 CHAR Zeichensatzkodierung
  • E2 Standard-Kodierung
    • Der Export in der Kodierung UTF-8 muss unterstützt werden, diese Kodierung sollte als Standard-Kodierung eingestellt werden.
  • E3 Optionale Kodierungen
    • Die Kodierungen ANSEL, ASCII, UNICODE (beinhaltet UCS-2 BE, UCS-2 LE, UTF-16 BE, UTF-16 LE) dürfen optional unterstützt werden. Die Verwendung der Kodierung UNICODE wird nicht empfohlen.
  • E4 Duldung ANSI
    • Die Unterstützung der ANSI Kodierung wird geduldet, d.h. sie darf als Option unterstützt werden, obwohl ANSI nach GEDCOM Standard 5.5.1 nicht zulässig ist.
  • E6 Position CHAR im Header
    • Bei Dateien ohne Byte Order Mark (BOM) sollte CHAR im Header so weit nach oben gestellt werden, dass vor dem tag CHAR keine Zeichen ausserhalb des US_ASCII Umfanges auftreten.
  • E7 Ausschluss weiterer Kodierungen im Export
    • Andere Kodierungen als die in E2, E3 und E4 genannten dürfen im Export nicht verwendet werden.

Vereinbarungen zu CHAR bezüglich Import

  • I1 Unterstützung von Kodierungen
    • Beim Import müssen die Kodierungen UTF-8 und ANSEL unterstützt werden.
  • I2 Unterstützung weiterer Kodierungen
    • Weitere Kodierungen dürfen beim Import ohne Einschränkung unterstützt werden, die Unterstützung der Kodierungen aus E3 wird empfohlen.
  • I3 Duldung und Unterstützung ANSI
    • Die Kodierung ANSI darf unterstützt werden. Für eine Übergangszeit muss der Import von ANSI-kodierten Dateien unterstützt werden.
  • I4 Erkennung der Kodierung
    • Die Kodierung muss automatisch vom Programm erkannt werden, wenn sie nach E1 oder B1 korrekt angegeben ist.
  • I5 Warnmeldung bei unvollständigem Import
    • Kann eine importierte Datei aufgrund ihrer Kodierungen intern nicht vollständig verarbeitet werden, so sollte dem Nutzer eine Warnmeldung gegeben werden.

Vereinbarungen zur Kennzeichnung durch Byte Order Mark (BOM)

  • B1 BOM beim Export
    • Das Byte Order Mark (BOM) muss bei den Kodierungen UTF-8 und UNICODE (USC-2 und UTF-16) ausgegeben werden.
  • B2 BOM beim Import
    • Über Erkennungsroutinen muss eine automatische Erkennung sichergestellt werden, ob ein BOM in der einzulesenden Datei vorhanden ist, und wenn ja, welches BOM.

Behandlung/Darstellung schwieriger Situationen

Information zur Abstimmung

Folgender Entscheidungs-Vorschlag fand bei der Abstimmung keine Mehrheit:

  • E5 Warnung bei unvollständigem Export
    • Wählt der Anwender beim Export eine Kodierung, die nicht alle in der aktuellen Datei vorkommenden Zeichen unterstützt, so sollte das Programm eine Warnung ausgeben.

Folgende Alternativformulierung B1 -A- wurde zugunsten der oben dargestellten Version B1 nicht angenommen:

  • B1 -A- BOM beim Export
    • Das Byte Order Mark (BOM) darf beim Export ausgegeben werden.


Folgende Themen sind in der GEDCOM-Arbeitsgruppe von Compgen mit den Programmentwicklern bei der Behandlung zum Thema Kodierung / tag CHAR diskutiert worden:

Kodierung "UNICODE" im GEDCOM Standard 5.5.1

Der GEDCOM Standard 5.5.1 ist nicht eindeutig in der Aussage, was bei der Angabe von Zeichensatzkodierungen mit "UNICODE" gemeint ist. Vieles spricht für die Interpretation, es sei UCS-2. Mit UNICODE 2.0 wurde die Kodierung UTF-16 als Nachfolger von UCS-2 eingeführt. Zu UTF-16 fehlen jedoch im GEDCOM-Standard 5.5.1 konkrete Aussagen.

Um bei der Vereinbarung unter den Programmautoren hier diese Unsicherheit nicht fortbestehen zu lassen, wurden im Punkt Export E3 explizit sowohl die UCS-2 als auch die UTF-16 Kodierungen aufgeführt.

Da jedoch mit UTF-8 eine gut unterstützte Kodierung zur Verfügung steht, die den vollen Zeichensatzumfang wie UTF-16 auch abbildet, haben die in der Liste Gedcom-L vertretenen Programmautoren im Anschluss an ihre Disksussion vereinbart, UTF-8 als Kodierung zu unterstützen und auch empfohlen, diese Kodierung in den Programmen als Standard einzustellen.

Ein sicherer Datentransfer über UCS-2 und insbesondere über UTF-16 bedarf weiterer Vereinbarungen, die hier nicht ausgearbeitet wurden.

Standard Kodierung beim Export

Folgende GEDCOM 5.5.1 konforme Optionen stehen zur Auswahl:

  • UTF-8
    • Erlaubt die unproblematische Darstellung von internationalen Zeichen
    • Wird von einigen Programmen nicht unterstützt
  • ASCII
    • Zu limitierter Zeichensatz
  • ANSEL
    • Gute Unterstützung von internationalen Zeichen
  • UNICODE
    • Entspricht UCS-2 (oder UTF-16, siehe oben).
    • Gute Unterstützung von internationalen Zeichen
    • UTF-16 gleicher Umfang wie UTF-8, die Einschränkungen bei UCS-2 sind für die Genealogie nicht relevant
    • Wird von wenigen Programmen unterstützt, offene Probleme für die Umsetzung

Bemerkung: ANSI ist zwar nicht GEDCOM 5.5.1 konform, ist aber heute weitverbreitet und wird von vielen Genealogieprogrammen als das Standardformat eingesetzt. Es bestehen Probleme, wenn die Codepage nicht eindeutig oder richtig mit angegeben wird.

Status:

Vereinbarungen getroffen

Benutzung der Byte Order Mark (BOM) bei UNICODE Kodierungen

Mit dem BOM wird zu Beginn der Datei angegeben, in welcher Ordnung die Bytes bei UTF-16 zu lesen sind. Für UTF-8 ist ebenfalls ein BOM definiert.

Folgende Argumente werden zur Zeit in der Arbeitsgruppe der Programmautoren abgewogen:

  • Durch die Angabe des BOM wird die Identifizierung der gewählten Kodierung erleichtert
  • Ältere Programme verstehen z.T. Dateien mit BOM nicht und brechen den Import ab


Status:

Vereinbarungen getroffen


Interpretation der ersten beiden Bytes einer GEDCOM-Datei

Eine GEDCOM-Datei beginnt mit der Zeile

  • 0 HEAD

Je nach Kodierung und Verwendung eines BOM finden sich folgende Angaben in den ersten beiden Bytes der GEDCOM-Datei:

Bytes Bedeutung

0x30 0x20

0xef 0xbb

0xfe 0xff

0xff 0xfe

0x00 0x30

0x30 0x00

Kein BOM, Kodierung ASCII, ANSI oder UTF-8

BOM für UTF-8 ( vollständiges BOM: 0xef 0xbb 0xbf )

BOM für UTF-16 BE

BOM für UTF-16 LE

Kein BOM, Kodierung UTF-16 BE

Kein BOM, Kodierung UTF-16 LE

Damit bietet die Auswertung der ersten beiden Bytes einer Datei die Möglichkeit, eine UTF-16 Kodierung eindeutig zu erkennen. Eine UTF-8 Kodierung wird nur erkannt, wenn das UTF-8 BOM angegeben wurde.

Ermittlung der Kodierung bei Beginn der Datei mit 0x30 0x20

Eine Datei mit dem Inhalt 0x30 0x20 in den ersten Bytes muss weiter analysiert werden, ob sie in ASCII, ANSI oder UTF-8 Kodierung erstellt wird. Dies erfolgt in der Regel dann über

  • 1 CHAR Zeichensatzkodierung

Da sich die Kodierungen ASCII, ANSI und UTF-8 nicht unterscheiden für Zeichen des US_ASCII Umfanges, kann durch eine entsprechend frühe Position von 1 CHAR ... im Header sichergestellt werden, dass zunächst die Kodierung eingelesen wird, und dann erst Zeichen folgen, bei denen sich die Kodierungen und damit die Dekodierungen unterscheiden.

Versionsangaben bei UNICODE Kodierungen

Versionsangaben bei UNICODE werden nicht als notwendig eingestuft.

Status:

Diskussion abgeschlossen

Codepage bei ANSI Kodierung

Beim Export mit der Kodierung ANSI kann die verwendete Codepage mittels des tags VERS angegeben werden:

  • 1 CHAR ANSI
  • 2 VERS codepage

Mit

  • 1 CHAR ANSI
  • 2 VERS 1252

wird z.B. die Standard ANSI Codepage für westeuropäische Schriften beschrieben.


Zeilenende-Zeichen

Das Thema der für das Zeilenende verwendeten Zeichen ( CR, LF ) wurde nicht unter dem Thema CHAR diskutiert. Es wird im Zusammenhang mit den Themen Feldlängen und Fortsetzungszeilen ( CONC, CONT ) aufgegriffen. Die Dokumentation zum Zeilenende ist im GenWiki Artikel GEDCOM/Syntax_GEDCOM-Zeile zu finden.

Abgerufen von „https://wiki-devel.genealogy.net/index.php?title=GEDCOM/CHAR-Tag&oldid=2415753“