Bruno Kerouanton

Houps ! Je pensais avancer sur plusieurs billets, mais je me rends compte que ça traîne, ça traîne… J’ai plusieurs choses à raconter, mais je dois tout d’abord dépiler mes billets en cours de rédaction. C’est donc parti pour :

Comment créer et/ou récupérer la Wikipédia française sur son PocketPC…

Pour les personnes pressées, il suffit de me dire où et comment je peux mettre en ligne mon fichier final de 1.3 Gigaoctets, mon hébergeur me propose seulement 500Mo ce qui ne m’aide pas vraiment. Quant aux réseaux P2P et consorts, j’avoue humblement ne pas savoir créer de feed, donc si une âme charitable a de quoi s’en occuper, je veux bien volontiers lui transmettre ledit fichier.

Update : je l’ai mis ici, si ça vous intéresse ! Bon téléchargement, et bonne lecture. Ah, au fait tant que j’y pense… il vous faudra également débourser 20 euros environ pour acheter le programme de lecture, TomeRaider3, je préfère vous prévenir avant que vous passiez du temps à télécharger !

Je disais juste au-dessus « pour les personnes pressées« , car en effet cela prend du temps de recompiler la wikipédia… Enormément de temps, tout relatif cependant si l’on considère les chiffres suivants :

• 773226 articles,
• 331659 redirections,
• 30319533 liens,
• 1104775 pages au total.
• 920545872 (presque 10 Go !) : taille du fichier de dump XML brut… sans les images !
• 1315325 (1,3Go environ) : taille du fichier Wikipédia final
• 60Go d’espace disque nécessaire, entre les fichiers compressés, décompressés, les essais, les fichiers temporaires et intermédiaires…
• 60 heures de temps de calcul au total, avec tous les essais que j’ai dû faire.
• 12 heures de temps de calcul pour la conversion des fichiers au final.
• 20 heures de travail, au bas mot (à cause du débogage et des mises au point…)
• 60$ pour l’achat des licences nécessaires à la conversion… ben oui, il n’y a pas que du libre sur Terre !

Tout ça représente donc un temps et un investissement certain, mais le plaisir de posséder une version à jour de la Wikipedia dans sa poche, tenant sur une carte micro SD de la taille d’un ongle est extraordinairement réjouissant pour ne pas dire plus. Avoir à portée de main et en tout temps une formidable encyclopédie est fantastique surtout lorsqu’au beau milieu de la nature, dans un train ou simplement en pleine nuit on souhaite apprendre, comprendre tel ou tel phénomène, découvrir un personnage historique, un lieu ou tout autre chose futile ou sérieuse.

Voici donc la recette qui m’a permis d’en arriver là, que je vous propose de suivre si d’aventure vous souhaitez vous lancer :

Ustensiles de cuisine :

• un PC bien frais, avec si possible une bonne puissance de calcul.
• beaucoup de mémoire vive, j’ai 4Go (enfin presque, je suis en 32bits…) et c’est presque juste.
• beaucoup d’espace disque (compter entre 30 et 60Go, 30 étant le minimum pour stocker les fichiers de dump, les fichiers intermédiaires et le resultat).
• une ligne Internet rapide, pour télécharger le dump de la Wikipédia et les logiciels nécessaires.
• un PocketPC, mais c’est optionnel !

Ingrédients :

• Un dump frais de la Wikipédia. Cela se trouve ici et ça représente environ 10Go une fois décompressé. Je me suis tenté l’expérience avec la version anglaise également mais j’ai vite déclaré forfait : le fichier XML fait tout de même 24Go et je n’ai osé poursuivre l’expérience faute de temps et de courage !

• Un Windows… Et oui, si les scripts Perl (voir plus bas) fonctionnent sans souci sous Linux, le compilateur TomeRaider n’existe que sous Windows… à moins qu’avec Wine ? A vous de tester…

• Une version de Perl pour Windows. Sur mon PC j’ai à la fois l’environnement CygWin et ActiveState Perl. J’ai choisi ce dernier pour faire tourner les moulinettes, c’est à vous de voir… les 2 marchent aussi bien.

• Un environnement de développement Perl. Comme je suis fan de PsPad – le meilleur éditeur texte freeware qu’il m’ait été donné de rencontrer – et qu’il remplit parfaitement ce rôle, me voilà parti avec ce dernier pour effectuer mes débogages Perl

• Un éditeur texte capable de gérer correctement des fichiers XML de 10Go qui contiennent des caractères Unicode… Pas si facile à trouver en fait ! Quand, au bout de nombreuses heures, je me suis retrouvé à déboguer mes scripts car ils plantaient en cours de traitement, j’ai dû aller modifier certaines choses dans le fichier XML source, et autant dire que ça n’a pas été de la tarte… PsPad plantait au bout de quelques dizaines de minutes en tentant une ouverture infructueuse dudit fichier, et de toute manière l’édition de morceaux scindés de ce même fichier m’a démontré assez vite que PsPad ne gérait pas correctement l’Unicode. Mes recherches m’ont rapidement permis de trouver un éditeur texte japonais, EmEditor, capable de gérer correctement des fichiers XML de 250Go (si, si !) avec de l’Unicode. Du coup, mon gros fichier s’ouvrait en quelques secondes, et j’ai pu faire des chercher-remplacer, et même des copier-coller dedans sans trop perdre patience… Seul hic : il s’agit d’un shareware à 35$, que je me suis finalement résigné à m’offrir car tout compte fait, c’est bien pratique de pouvoir d’éditer de très gros fichiers dans certaines occasions. Mais la version d’essai fonctionne parfaitement pendant 30 jours, et c’est donc suffisant pour recompiler une fois la Wikipédia.

• Le lecteur et le compilateur pour la Wikipédia, TomeRaider3. La société Yadabyte a inventé un format de fichier e-book très optimisé, et vend ses lecteurs sur de nombreuses plateformes (PC, PocketPC, Palm, Psion, Symbian etc.). C’est à ma connaissance le seul lecteur eBook capable de manipuler des fichiers de 4Go et plus sans temps de latence même lorsqu’on saute entre des articles très éloignés dans le fichier, ce qui a amené TomeRaider à devenir le standard de-facto pour une visualisation offline de la Wikipedia. Je reproche cependantle coût du lecteur (20£ par plateforme, soit au bas mot 60 euros si l’on veut la version PocketPC et la version PC, cette dernière étant obligatoire pour effectuer la recompilation). Astuce : Proporta propose le bundle des 2 logiciels à prix vraiment cassé : 23€ le tout.

• Les scripts de conversion d’Eric Zachte. Ces scripts Perl prennent le fameux fichier XML en entrée, et le convertit en fichier non moins énorme fichier HTML, avec des tags spéciaux qui seront ensuite interprétés par le compilateur TomeRaider. Car, en effet, la conversion se fait en plusieurs étapes indépendantes, les scripts perl d’Eric totalisant non moins de 3 étapes de traitement, et le compilateur TomeRaider en comptant à lui seul 4 autres… faut pas être pressé, comme on dit !
• De la patience, car les scripts plantent. Ce n’est pas la faute de leur concepteur, mais bel et bien des nombreux auteurs de la Wikipedia qui parfois mettent des champs et tags bizarroïdes dans leurs pages, ce que Perl n’apprécie pas toujours. Alors quand au bout de 4 heures de calcul on voit que la CPU de son PC est passée à 100% et que le voyant d’activité du disque dur ne clignote plus, on doit se résoudre à tuer le process Perl, la mort dans l’âme, puis à parser les logs générées (avec EmEditor, car PsPad n’y arrive pas, c’est déjà trop gros !) pour comprendre ce qui a planté… Et lorsque l’on sait au fil tu temps que ça arrive une vingtaine de fois au cours du traitement, on a intérêt à comprendre vite fait la raison exacte pour laquelle ça plante, et à comprendre de même comment marchent les nombreux scripts de la moulinette afin de les patcher et de tenir bon… jusqu’au plantage suivant.

Du coup, j’ai créé une version adaptée des scripts d’Eric, et fait une petite compilation de liens utiles pour comprendre ce qu’on foit faire…

DOCUMENTATION UTILE

Mirroring de la Wikipedia :

• Traitements de la Wikipédia française: structure des dumps XML
• Liens vers les dumps XML
• Comment faire le traitement des dumps XML de la Wikipedia

Scripts de conversion Perl :

• Tome Raider 3 Conversion Script
• How to create the TomeRaider3 file procedure

Compilation au format TomeRaider :

• Structure et tags du fichier source avant compilation

Avec ça, vous devriez être fin prêts pour compiler le tout… bon courage !!!!