Heritrix
Heritrix est un robot d'indexation conçu et utilisé par Internet Archive pour l'archivage du web. C'est un logiciel libre programmé en langage Java. Son interface principale est accessible depuis un navigateur web, mais un outil en interpréteur de commandes peut aussi être optionnellement utilisé pour lancer l'indexation.
| Développé par | Internet Archive |
|---|---|
| Dernière version | 3.6.0 ()[1] |
| Dépôt | github.com/internetarchive/heritrix3 |
| Écrit en | Java |
| Environnement | Linux/Windows |
| Formats lus | WARC (en) |
| Formats écrits | WARC (en) |
| Type | Robot d'indexation |
| Licence | Apache 2.0 |
| Documentation | github.com/internetarchive/heritrix3/wiki |
| Site web | Heritrix |
Heritrix a été développé conjointement par Internet Archive et les Bibliothèques Nationales Nordiques en 2003. Sa première publication officielle a eu lieu en , et il a depuis été continuellement amélioré par les membres d'Internet Archive et par des tiers intéressés.
Projets utilisant Heritrix
modifierUn nombre important d'organisations et de bibliothèques nationales utilisent Heritrix, parmi lesquels :
Fichier Arc
modifierHistoriquement, Heritrix stockait les ressources qu'il collectait dans un fichier Arc, format qu'Internet Archive utilise depuis 1996 pour stocker ses archives. Les versions plus récentes utilisent par défaut le format WARC. Heritrix peut également être configuré pour stocker les fichiers dans un format de répertoire similaire au robot d'indexation Wget, qui nomme le répertoire et le fichier de chaque ressource d'après son URL.
Dans le format Arc, de multiples ressources archivées sont stockées dans un seul fichier, afin d'éviter d'avoir à gérer un grand nombre de petits fichiers. Un fichier consiste en une séquence d'enregistrements d'URL, chacun étant accompagné d'un en-tête contenant des métadonnées à propos de la manière dont la ressource a été demandée, de l'en-tête HTTP, et du code de la réponse. La taille d'un fichier Arc est comprise entre 100 et 600 mégaoctets.
Exemple :
filedesc://IA-2006062.arc 0.0.0.0 20060622190110 text/plain 76 1 1 InternetArchive URL IP-address Archive-date Content-type Archive-length http://foo.edu:80/hello.html 127.10.100.2 19961104142103 text/html 187 HTTP/1.1 200 OK Date: Thu, 22 Jun 2006 19:01:15 GMT Server: Apache Last-Modified: Sat, 10 Jun 2006 22:33:11 GMT Content-Length: 30 Content-Type: text/html <html> Hello World!!! </html>
Outils pour le traitement de fichiers Arc
modifierHeritrix inclut un outil en ligne de commande intitulé arcreader qui permet d'extraire le contenu d'un fichier Arc.
La commande suivante liste toutes les URL et métadonnées stockées dans le fichier Arc de l'exemple précédent :
arcreader IA-2006062.arc
La commande suivante en extrait le fichier hello.html, en prenant en compte le début de l'enregistrement à l'offset 140 :
arcreader -o 140 -f dump IA-2006062.arc
Autres outils :
Outils en ligne de commande
modifierHeritrix est fourni avec plusieurs outils en ligne de commande :
- htmlextractor - montre le lien que Heritrix doit extraire pour un URL donné
- hoppath.pl - recrée le chemin des liens pour une URL spécifiée depuis une indexation complétée
- manifest_bundle.pl - met en paquets toutes les ressources référencées par le fichier manifeste du robot dans un fichier tar incompressé ou compressé
- cmdline-jmxclient - permet le contrôle en ligne de commande d'Heritrix
- arcreader - extrait du contenu d'un fichier Arc (voir supra)
Voir aussi
modifierArticles connexes
modifierRéférences
modifier- Michael Stack, IWAW 2005. "Update on Heritrix developpment". (PDF)
- Kristinn Sigurdsson, National and University Library of Iceland, IWAW 2005. "Incremental crawling with Heritrix". (PDF)
- Gordon Mohr, Internet Archive. IWAW 2004. "Heritrix: an open source web Archiving Crawler". (PPT)
Liens externes
modifier- (en) Site officiel de Heritrix
- (en) International Internet Preservation Consortium
- (en) Format de fichier Arc
- « Release 3.6.0 », (consulté le )