Quelques tables de caractères

Les quelques tables de caractères regroupées sur cette page sont celles que l'on rencontre le plus souvent sur des ordinateurs dont la langue par défaut est le français. Ce sont toutes des tables « 8 bits », c'est-à-dire que chaque caractère est représenté par un et un seul octet, ce qui fait donc un maximum de 256 caractères différents par table (2 à la puissance 8).

Bien entendu, ces tables ne sont pas limitées au français. Par exemple, d'après La série de normes ISO 8859, la table ISO-8859-1 concerne aussi bien l'albanais, l'allemand, l'anglais, le catalan, le danois, l'espagnol, le féroen, le finnois, le galicien, l'irlandais, l'islandais, l'italien, le néerlandais, le norvégien, le portugais et le suédois.

ASCII

La table US-ASCII ou tout simplement ASCII est en réalité une table 7 bits. Elle contient 95 caractères imprimables depuis l'espace (numérotée 32) jusqu'au tilde (numéroté 126). Elle inclut la plupart des signes de ponctuation utilisés dans les langues latines, les lettres non accentuées (majuscules et minuscules), les chiffres de 0 à 9, et quelques caractères supplémentaires (des opérateurs arithmétiques par exemple). En revanche, on n'y trouve aucune des lettres avec diacritiques (accents, trémas ou cédilles) indispensables pour écrire correctement le français.

Noter qu'il a existé des variantes régionales de la table ASCII, incluant des lettres avec diacritiques à la place de certains signes de ponctuation moins utilisés dans ASCII. Voir par exemple ISO-646-FR, où les caractères « é » et « è » sont venus remplacer « { » et « } » respectivement, au grand dam des programmeurs C. Mais toutes les fois où vous entendrez nommer « ASCII » ou « L'ASCII étendu » (avec article défini) un jeu de caractères 8 bits, vous pouvez être sûrs que ce terme est impropre, et désigne probablement CP1252 ou CP850, voire CP437.

ISO-8859-1

Cette norme ISO, également nommée Latin 1, est un sur-ensemble de la table ASCII. Parmi les 96 caractères supplémentaires, on trouve la plupart des lettres avec diacritiques utiles en français, que ce soit en majuscules ou en minuscules, une exception notable étant le Y majuscule avec tréma (Ÿ). On y trouve aussi les ligatures æ et Æ, mais pas œ ni Œ. Les deux autres apports principaux pour l'écriture du français sont l'espace insécable et les guillemets français « ».

ISO-8859-15

Cette autre norme ISO, également nommée Latin 9, est une légère modification de la table ISO-8859-1 comblant certains de ses manques. Par exemple, on y trouve un Ÿ et les ligatures œ et Œ, ainsi que le caractère euro (€). Du fait que les deux tables contiennent exactement le même nombre de caractères au total (95 + 96 = 191), certains, considérés comme moins importants, ont dû être sacrifiés, tels que les fractions ¼, ½ et ¾. Pour la petite histoire, c'est d'abord le besoin de comparer facilement ISO-8859-1 et ISO-8859-15 qui m'a donné l'idée de réaliser cette page.

CP1252

La table CP1252, définie par Microsoft, est la table par défaut des PC sous MS-Windows en version francophone. Cette table est un sur-ensemble de la table ISO-8859-1, ce qui permet une compatibilité parfaite avec la norme ISO-8859-1 pourvu qu'aucun caractère de codes 128 à 159 ne soit utilisé. En réalité, je devrais parler des tables CP1252 plutôt que de la table CP1252, car plusieurs ajouts successifs ont été faits dans cette table sans qu'elle ne change de nom. Par exemple, une ancienne version de CP1252 ne contenait pas le caractère euro (€) alors que celui-ci existe maintenant à la position 128.

CP850

La table CP850 est celle utilisée par le système d'exploitation MS-DOS sur les machines qui ont un MS-Windows en CP1252. Cette table permet de représenter tous les caractères de ISO-8859-1 (quoique à des positions différentes) tout en conservant une compatibilité avec la table CP437 (tous les caractères communs aux deux tables sont aux mêmes positions).

Note : dans les documentations Microsoft, on appelle ANSI les tables utilisées à travers l'interface graphique Windows (CP1252 pour le français) et OEM celles utilisées dans une fenêtre DOS (CP850 pour la langue française).

CP437

La table CP437 enfin, quoique je la présente après, est plus ancienne que les quatres tables 8 bits décrites ci-dessus (je mets à part la table ASCII 7 bits qui est à la fois l'ancètre et le dénominateur commun de toutes les autres). Elle était déjà présente sur les PC IBM au début des années 1980, soit bien avant la naissance de MS-Windows. Datant de l'époque où les écrans étaient principalement en mode texte (25 lignes de 80 colonnes), on y trouve de nombreux petits symboles ainsi que des caractères permettant de dessiner des cadres . Par ailleurs, cette table n'étant pas destinée à communiquer via Internet, toutes les positions sauf une (le code nul) sont utilisées.

MacRoman

Alors que les tables CP850 et CP1252 se trouvent de préférence sur les PC avec MS-Windows, la table MacRoman est le jeu de caractères par défaut sur les ordinateurs Macintosh et le système d'exploitation Mac OS (en français). Noter que, de même que pour CP1252, et contrairement aux normes ISO, certaines modifications ont été faites sans que le nom change ; par exemple, à la position 219, le caractère euro (€) a remplacé le précédent symbole monétaire (¤) dans la version 8.5 de Mac OS.

Autre particularité de cette table, elle comporte à la position 240 un caractère dont le point de code Unicode fait partie de la « zone à usage privé » E000-F8FF. Sur un Macintosh vous pourrez peut-être voir le logo Apple à cette position, mais moi, sur Windows, je n'y vois qu'un point d'interrogation avec Mozilla ou Firefox, un carré vide avec Internet Explorer.

Alors que chacune des tables présentées dans la section précédente ne contient qu'une minuscule partie de l'ensemble des caractères utilisés par l'ensemble des langues parlées sur la planète, Unicode tend à l'exhaustivité. Ainsi, tous les caractères présents dans un jeu de caractère normalisé doivent se retrouver dans Unicode. C'est pour cette raison qu'Unicode sert de référence universelle pour chaque caractère, que ce soit sous la forme d'un point de code (code point en anglais) ou sous la forme de son codage en UTF-8.

Unicode regroupe les codes représentant les caractères dans des « blocs » de codes consécutifs. Les deux premiers blocs reprennent l'intégralité de la norme ISO 8859-1 (Latin1), le premier des deux correspondant à la norme ASCII. En dehors de ces deux premiers, chacun des blocs regroupe des caractères appartenant à un même type d'écriture et partageant les mêmes fonctionnalités. Par exemple, on a un bloc pour les lettres grecques, un autre pour les symboles monétaires, et ainsi de suite. Les caractères déjà présents dans les deux premiers blocs ne sont pas dupliqués ailleurs, ainsi les caractères $ (ASCII) et ¥ (Latin-1) ne sont pas rangés avec € parmi les autres symboles monétaires,

Les sept tables 8 bits ci-dessus regroupent à elles toutes des caractères appartenant à une bonne vingtaine de blocs Unicode différents. Afin de s'y retrouver plus facilement, j'ai choisi un code de couleurs permettant d'avoir tout de suite une idée approximative de l'emplacement de chaque caractère dans Unicode : deux caractères de la même couleur ne sont pas forcément dans le même bloc, mais deux caractères d'un même bloc sont toujours de la même couleur.

Le tableau ci-dessous montre tous les blocs Unicode utilisés, avec l'intervalle des caractères définis par chaque bloc, la couleur que j'ai choisie, et un petit commentaire. Il y a aussi à chaque fois un pointeur vers les documents PDF de référence sur le site du consortium Unicode, aussi bien en français qu'en anglais.

Plusieurs caractéristiques sont attachées à chaque caractère. L'une d'entre elles est sa position dans la table 8 bits choisie, mais les autres ne dépendent que de sa position dans Unicode. Pour les décrire, je prendrai pour exemple le caractère € que l'on trouve à la position A4 (164 en décimal) dans ISO-8859-15. Si votre navigateur est configuré pour afficher des « info-bulles », en survolant ce caractère avec la souris vous devriez voir quelque chose qui ressemble à ça : (164) U+20AC € € [E2 82 AC]

Position dans la table 8 bits

C'est un nombre compris entre 0 et 255 en décimal (entre 00 et FF en hexadécimal), qui tient donc dans un octet, et qui représente de façon unique un caractère au sein d'une table 8 bits donnée.

Ainsi, le caractère € est à la position A4 (hexa) dans ISO-8859-15. Comme A4 = A0 + 04, on le trouve à l'intersection de la ligne A0 et de la colonne 04 (ou de la colonne A0 et de la ligne 04 si vous avez choisi une orientation verticale pour les rangées de caractères). Pour avoir la position en décimal, à moins d'être un crack en conversions de bases et de savoir tout calculer de tête (ainsi A4 = 10×16+4 = 164), on peut trouver l'information au tout début de l'info-bulle, entre parenthèses : (164). Si JavaScript est activé, on peut aussi lire la valeur dans l'un des tableaux de droite.

Position dans Unicode

Chaque caractère Unicode est repéré par un point de code de la forme U+nnnn, où nnnn est en hexadécimal. Les caractères qui nous intéressent font tous partie du premier plan de base multilingue et sont représentés par un point de code à quatre chiffres hexa, entre U+0000 et U+FFFD (entre 0 et 65533 en décimal). D'autres valeurs sont possibles, de U+10000 à U+10FFFF, mais pas pour les caractères que l'on rencontre habituellement.

Concernant notre exemple du caractère €, le point de code est U+20AC (deuxième valeur dans l'info-bulle). Noter que le nombre hexadécimal 20AC vaut 8364 en décimal, ce qui servira pour les références de caractères numériques en HTML.

Références de caractères numériques

Les références de caractères en HTML permettent d'inclure dans une page web n'importe quel caractère, quel que soit le jeu de caractères déclaré pour la page. Ainsi, cette page que vous lisez est en ISO-8859-1, et pourtant elle contient des dizaines de caractères qui n'en font pas partie.

Les références de caractères les plus universelles sont celles utilisant un numéro Unicode, soit en hexadécimal (précédé de « &#x » et suivi de « ; »), soit en décimal (précédé de « &# » et suivi de « ; »). Le numéro hexadécimal est le plus facile à trouver dans une table Unicode puisqu'il suffit de garder les quatre chiffres hexa en supprimant le « U+ ». Cela dit, l'habitude a été prise par les auteurs de sites d'utiliser plutôt la forme avec numéro décimal, car les plus anciens navigateurs ne comprenaient que celle-ci.

Reprenons notre exemple du caractère €. La référence numérique hexadécimale, calquée sur U+20AC, est « € ». Quant à la référence numérique décimale, on la trouve directement dans l'info-bulle : €,

Références de caractères symboliques (entités)

Il existe un autre type de références de caractères sous la forme de noms (précédés par « & » et suivis par « ; ») qui sont plus faciles à mémoriser que les références numériques. On les appelle Character entity references en anglais, références des entités de caractères en français. Elles présentent pourtant deux inconvénients majeurs, l'un étant que seuls quelques caractères ont une référence symbolique, l'autre étant que la liste de caractères reconnue pour HTML4 ne le sera plus en XHTML.

Lorsque une entité existe pour un caractère, son nom est donné en quatrième et avant-dernière position dans l'info-bulle. Ainsi, pour le caractère €, c'est €.

Codage UTF-8

Le codage UTF-8 d'un caractère donné ne dépend que de sa position dans Unicode (son point de code U+nnnn). Il est donné à la dernière position de l'info-bulle, entre crochets.

Pour le caractère €, c'est [E2 82 AC].

J'en viens à la principale raison d'être de cette page rassemblant plusieurs tables de caractères : les comparer.

En effet, elle permet de répondre à des questions existentielles telles que « pourquoi mon é devient un Ú quand je lance mon application Windows sous une fenêtre DOS ? » (réponse : parce que le é est à la position 233 dans CP1252, jeu de caractères pour Windows, et que le Ú est à la même position 233 dans CP850, jeu de caractères pour MS-DOS) ou bien « quel caractère dois-je saisir dans mon éditeur CP1252 pour qu'il soit lu comme un €, sachant que le jeu indiqué au destinataire est ISO-8859-15 ? » (réponse : c'est le caractère ¤, qui se trouve à la position 164 dans CP1252, position de € dans ISO-8859-15).

À la même position dans toutes les tables

Ce tableau rassemble l'ensemble des caractères se trouvant à la même position dans chacune des tables 8 bits.

Par exemple, à la position 164 qui correspond au caractère € dans la table ISO-8859-15, on trouve le caractère ¤ dans les tables ISO-8859-1 et CP1252, le caractère ñ dans les tables CP850 et CP437, le caractère § dans la table MacRoman, et rien du tout dans la table ASCII.

Pour chacun de ces caractères on trouvera rassemblés dans le même tableau le point de code Unicode, les références de caractères pour HTML (référence numérique, et entité si elle existe), et le codage UTF-8.

Le même glyphe dans toutes les tables

Lorsqu'un caractère donné se retrouve dans plusieurs tables 8 bits, ce tableau indique sa position dans chacune.

Par exemple, le caractère € se trouve à la position 164 (A4 hexa) dans ISO-8859-15, à la position 128 (80 hexa) dans CP1252, à la position 219 (DB hexa) dans MacRoman – du moins depuis MacOS 8.5 –, et nulle part ailleurs.

J'ai essayé de concevoir cette page de façon à ce que son utilisation soit aussi intuitive que possible. Néanmoins voici quelques indications sur les différentes possibilités qui sont offertes.

Juillet 2005

Le jeudi 21 juillet 2005, désireux de faire un comparatif pratique entre plusieurs tables de caractères, je commence à faire quelques tests en local pour arriver à les mettre les unes sur les autres, ceci en jouant en CSS avec la pseudo-classe « :hover » et la propriété « z-index ».

Le dimanche 24 juillet je mets en ligne un premier prototype fonctionnel mais très peu ergonomique, et je lance une discussion sur le forum usenet fr.comp.infosystemes.www.auteurs afin de l'améliorer. Recevant de nombreuses réponses de plus d'une dizaine de contributeurs réguliers de ce groupe, dont plusieurs utilisant d'autres navigateurs que les miens et d'autres systèmes d'exploitation que le mien, j'arrive grâce à eux à un résultat beaucoup plus satisfaisant, le vendredi 29 juillet.

Février et mars 2007

Le samedi 24 février 2007, j'ajoute la possibilité d'afficher la table MacRoman en lieu et place de la table CP437. Gérer MacRoman était une chose que l'on m'avait demandée très longtemps auparavant, mais que je n'avais jamais réalisée car je n'avais pas envie d'augmenter le nombre d'onglets, et que je n'avais pas pensé à un paramètre d'appel pour choisir entre MacRoman et CP437.

Quelques jours plus tard, le jeudi 1^er mars, j'explique enfin le code des couleurs que j'avais utilisé dès le début pour regrouper les caractères apparentés.

Avril 2007

Le dimanche 15 avril je termine deux semaines de modifications. Les plus visibles sont le formulaire permettant de choisir soi-même les valeurs par défaut, les tableaux de droite que j'ai réduits pour les rendre plus lisibles, et la doc que j'ai mise à jour.

Mais j'ai aussi et surtout changé le code JavaScript. Avec l'ancien code, le temps de lancement était d'environ 700 ou 800 ms dans Mozilla et Firefox, mais de plusieurs secondes dans Internet Explorer, ce temps augmentant à chaque appel. Avec le code actuel, le temps est le même dans Internet Explorer que dans Mozilla et Firefox.

Décembre 2007

Je viens d'ajouter deux lignes de JavaScript pour mettre à jour automatiquement, juste en cliquant sur un caractère ou un onglet, l'onglet de référence et la position de référence dans le formulaire permettant de changer les valeurs par défaut.