Comment ne plus attendre une éternité que les dépendances et les images se téléchargent

Une histoire familière : vous lancez npm install, docker pull, ou essayez de récupérer un gros modèle depuis Hugging Face, et... vous allez chercher un café. Ou peut-être même déjeuner. Ça devient particulièrement « amusant » quand vous travaillez dans un réseau d'entreprise avec des proxies stricts, ou simplement dans une région où atteindre les serveurs de GitHub ou Docker Hub est toute une aventure.

Je suis récemment tombé sur un projet appelé Xget. Ce n'est pas juste un autre « wrapper de miroir » — c'est un moteur d'accélération complet pour les ressources développeur. Il peut accélérer la livraison de code, de modèles, de paquets, et même l'inférence de réseaux de neurones via API. Il fonctionne sur Cloudflare Workers, ce qui signifie que le contenu vous parvient depuis le nœud CDN le plus proche de votre domicile ou de votre bureau.

Ce que cet outil peut faire

Xget fonctionne comme un point d'entrée unique. Au lieu de configurer une douzaine de proxies différents pour chaque outil, vous utilisez un seul domaine.

Le projet prend en charge un nombre impressionnant de plateformes :

• Dépôts : GitHub, GitLab, Gitea, Codeberg.
• Gestionnaires de paquets : npm, PyPI, Conda, Maven, Homebrew, Crates.io (Rust), Go Modules.
• Ressources IA : Hugging Face, Civitai.
• Conteneurs : Docker Hub, Quay, GCR, GHCR.
• Distributions Linux : Debian, Ubuntu, Arch, Fedora.
• Même les API de réseaux de neurones : OpenAI, Anthropic, Gemini, et d'autres.

L'idée est simple : prenez le lien original, ajoutez le préfixe de la plateforme au domaine Xget, et la magie de la mise en cache à la volée commence à fonctionner.

Comment ça fonctionne sous le capot

L'auteur n'a pas réinventé la roue et a construit la solution sur une stack moderne. La base est Cloudflare Workers. Cela apporte deux avantages principaux : une latence minimale grâce aux nœuds distribués et une protection contre les pannes de serveur — si un centre de données tombe en panne, un autre prend en charge la requête.

Voici à quoi ressemble le traitement des requêtes :

Le moteur analyse ce que vous demandez. S'il s'agit de trafic Git, des adaptateurs spécifiques pour le protocole Git se déclenchent (même git push et LFS sont pris en charge). S'il s'agit d'une requête vers un registre Docker — la logique d'autorisation et le transfert des couches d'images se mettent en route.

La mise en cache est implémentée de manière intéressante. Xget ne se contente pas de proxifier des octets. Il comprend la différence entre les métadonnées (qui changent souvent) et les artefacts comme les archives .zip ou .tar.gz (qui sont immuables). Les premières sont mises à jour plus fréquemment, les secondes restent longtemps en cache.

La sécurité, ce n'est pas que des mots vides

D'habitude, il y a des questions sur les serveurs proxy publics : qui voit mon trafic ? Vont-ils échanger mon binaire ? Xget intègre plusieurs couches de protection :

1. En-têtes de sécurité stricts (HSTS, CSP, X-Frame-Options). C'est basique, mais beaucoup l'oublient.
2. Validation des chemins. Vous ne pouvez pas passer une URL trop longue ni essayer de sortir des répertoires autorisés (protection contre le path traversal).
3. Liste blanche des méthodes. Seuls GET et HEAD sont autorisés pour les téléchargements réguliers. POST et les autres ne sont ouverts que là où ils sont réellement nécessaires (par exemple, pour Git LFS ou l'API IA).

Au fait, le projet est entièrement Open Source. Si vous ne faites pas confiance à l'instance publique xget.xi-xu.me, vous pouvez déployer votre propre instance personnelle dans votre compte Cloudflare en cinq minutes, ou même dans Docker sur votre propre serveur.

Exemples pratiques

La partie la plus utile est la façon dont Xget s'intègre dans votre routine quotidienne.

Accélérer Git

Si git clone rampe à la vitesse d'une tortue, vous pouvez configurer un remplacement de domaine global :

git config --global url."https://xget.xi-xu.me/gh/".insteadOf "https://github.com/"

Maintenant, toute requête vers GitHub passera automatiquement par l'accélérateur. Transparent et pratique.

Travailler avec Docker sans douleur

Au lieu de lutter avec la configuration de daemon.json, vous pouvez simplement spécifier le préfixe lors du pull :

docker pull xget.xi-xu.me/cr/ghcr/nginxinc/nginx-unprivileged:latest

Développement IA

Pour ceux qui travaillent avec des modèles, il y a une fonctionnalité intéressante pour Hugging Face. Il suffit de passer une variable d'environnement à votre script Python :

import os
os.environ['HF_ENDPOINT'] = 'https://xget.xi-xu.me/hf'

Après cela, la bibliothèque transformers commencera à télécharger les poids des modèles via le miroir.

Vaut-il la peine de l'adopter

Xget est un excellent « couteau suisse » pour ceux qui en ont marre des problèmes réseau.

Qui le trouvera définitivement utile :

• Les développeurs dans les régions avec un accès instable aux ressources étrangères.
• Les ingénieurs DevOps pour accélérer les builds d'images dans les pipelines CI/CD.
• Les spécialistes en Data Science qui téléchargent des poids de modèles par gigaoctet.

Quelques nuances : l'instance publique gratuite a ses limites, donc pour les projets sérieux, il vaut mieux prendre 10 minutes pour déployer votre propre worker dans Cloudflare. Heureusement, le dépôt propose des actions prêtes à l'emploi pour le déploiement automatique.

Le projet est vivant et gagne activement des étoiles (plus de 8 000 déjà) et le support de nouvelles plateformes. Si vous avez besoin d'une solution unique pour tous vos problèmes de téléchargement de ressources — Xget mérite définitivement une place dans vos favoris.