TulipFarm lance Huntsman, un scraper web auto-hébergé léger pour les pipelines IA

TulipFarm a publié Huntsman, un nouvel outil open source de scraping web conçu pour les développeurs créant des systèmes de génération augmentée par récupération (RAG) et d'autres applications d'IA. Publiée sur GitHub fin octobre 2026, cette solution auto-hébergée se concentre sur la conversion du contenu web en format Markdown propre tout en maintenant une compatibilité avec les normes API existantes de Firecrawl.

Ce qu'il s'est passé

Huntsman est construit sous forme d'un binaire Go unique et d'une image conteneurisée qui rend les pages riches en JavaScript à l'aide du moteur de navigateur Lightpanda. Contrairement aux alternatives plus lourdes qui reposent sur Playwright ou des installations complètes de Chrome, Huntsman supprime les publicités, les traqueurs et les bannières de cookies pour ne livrer que le contenu principal. L'outil est distribué sous licence Apache-2.0, bien qu'il inclue des composants tiers tels que le navigateur Lightpanda sous AGPL-3.0 et des listes de filtres sous GPLv3 ou CC BY-SA 3.0.

Le projet fournit une API compatible avec Firecrawl, permettant aux équipes de basculer leurs clients existants vers Huntsman en changeant simplement l'URL de base. Il prend en charge le scraping de page unique, le traitement par lots de jusqu'à 1 000 URL et l'exploration complète de sites avec des limites de profondeur configurables. Le système utilise une file d'attente basée sur SQLite pour la gestion des tâches et inclut un cache de résultats pour réduire les demandes redondantes.

Détails clés

• Benchmarks de performance : Sur une machine AWS Graviton dotée de 8 vCPU et 16 Go de RAM, Huntsman a traité 129 pages simultanément à une vitesse de 11,54 pages par seconde, surpassant nettement Firecrawl et Crawl4AI dans le même environnement de test.
• Efficacité des ressources : L'outil évolue efficacement sur du matériel moins puissant, gérant 45 pages simultanées sur une machine de 2 vCPU et 4 Go sans planter ni manquer de mémoire.
• Fonctionnalités de sécurité : Huntsman bloque par défaut les adresses privées, de bouclage (loopback) et locales (link-local), respecte les fichiers robots.txt et s'exécute en tant qu'utilisateur non-root à l'intérieur des conteneurs.
• Authentification : Prend en charge l'authentification par jeton bearer via des variables d'environnement, permettant l'utilisation de jetons nommés qui journalisent les noms des clients plutôt que les secrets bruts pour faciliter l'audit.
• Sortie propre : Retourne uniquement du Markdown et des liens, excluant volontairement les captures d'écran, le HTML ou l'extraction JSON afin de maintenir une charge utile petite et centrée sur la consommation par les LLM.
• Configuration : Tous les paramètres sont gérés via des variables d'environnement, y compris le nombre de workers, les TTL de cache et la sélection des listes adblock.

Contexte

Le scraping web pour les applications d'IA nécessite plus que le simple téléchargement de HTML. Les sites modernes reposent souvent fortement sur JavaScript pour rendre le contenu, ce qui signifie que les simples requêtes HTTP manquent le texte réel visible par les utilisateurs. Des outils comme Huntsman utilisent des navigateurs headless pour exécuter ce JavaScript, attendre que la page se stabilise, puis extraire le texte. Cependant, les outils traditionnels d'automatisation de navigateur peuvent être gourmands en ressources, nécessitant beaucoup de CPU et de mémoire pour faire tourner plusieurs instances simultanément.

Pour les équipes gérant leur propre infrastructure, la gestion de ces ressources est critique. Un scraper qui plante sous charge ou consomme toute la mémoire disponible peut perturber d'autres services sur le même hôte. Huntsman répond à ce problème en utilisant Lightpanda, un moteur de navigateur plus léger, et en gérant soigneusement la concurrence en fonction des limites disponibles de CPU et de mémoire. Cette approche permet un débit plus élevé sur du matériel modeste comparé aux alternatives plus lourdes.

Pourquoi c'est important

Pour les équipes d'ingénierie construisant des pipelines RAG, la qualité et la propreté des données d'entrée impactent directement la performance de leurs modèles de langage. Le bruit provenant des menus de navigation, des pieds de page et des publicités peut confondre les agents IA et augmenter les coûts en tokens. La concentration de Huntsman sur l'extraction du seul contenu principal aide à garantir que les données alimentant ces systèmes sont pertinentes et concises. Cela réduit le besoin d'étapes complexes de post-traitement pour nettoyer les données scrapées.

La fiabilité opérationnelle est une autre préoccupation majeure pour les outils auto-hébergés. De nombreux scrapers open source ont du mal à rester stables lors de la montée en charge, plantant souvent ou fuyant de la mémoire lors de grandes explorations. Les benchmarks fournis par TulipFarm suggèrent que Huntsman maintient sa stabilité même sous forte concurrence, ne ralentissant que lorsque les temps de chargement des pages augmentent plutôt que de défaillir catastrophiquement. Cette prévisibilité permet aux ingénieurs DevOps de dimensionner leur infrastructure plus précisément et d'éviter les pannes inattendues.

De plus, la compatibilité immédiate (drop-in) avec Firecrawl abaisse la barrière à l'adoption. Les équipes utilisant déjà Firecrawl peuvent tester Huntsman sans réécrire leur code d'intégration. Cette flexibilité est précieuse pour les organisations souhaitant réduire leur dépendance vis-à-vis des fournisseurs SaaS externes ou diminuer leurs coûts de cloud computing en internalisant les charges de travail de scraping.

Ce que vous pouvez faire

• Tester l'image Docker : Exécutez le conteneur publié sur une machine locale ou un serveur de staging pour évaluer ses performances avec vos sites cibles spécifiques.
• Examiner les benchmarks : Analysez les résultats de benchmark fournis pour déterminer si le débit de Huntsman répond à vos exigences d'ingestion de données par rapport à votre solution actuelle.
• Vérifier la conformité des licences : Assurez-vous que la combinaison des licences Apache-2.0, AGPL-3.0 et GPL correspond aux politiques d'utilisation open source de votre organisation, notamment concernant le composant Lightpanda.
• Configurer les paramètres de sécurité : Activez l'authentification par jeton bearer et examinez les restrictions par défaut sur les adresses privées pour garantir que le scraper s'aligne avec vos politiques de sécurité réseau.
• Surveiller l'utilisation des ressources : Utilisez les variables d'environnement pour ajuster le nombre de workers et les limites de mémoire en fonction de votre matériel disponible, afin de vous assurer que l'outil n'affame pas les autres services.
• Intégrer avec des outils de recherche : Puisque Huntsman n'inclut pas de capacités de recherche, associez-le à un moteur de recherche auto-hébergé comme SearXNG si vous devez découvrir des URL avant de les scraper.