TulipFarm veröffentlicht Huntsman, einen leichtgewichtigen selbst gehosteten Web-Scraper für AI-Pipelines

TulipFarm hat Huntsman veröffentlicht, ein neues Open-Source-Web-Scraping-Tool, das für Entwickler konzipiert wurde, die Retrieval-Augmented Generation (RAG)-Systeme und andere KI-Anwendungen erstellen. Das im Oktober 2026 auf GitHub veröffentlichte, selbst gehostete Lösung konzentriert sich darauf, Webinhalte in ein sauberes Markdown-Format zu konvertieren, während die Kompatibilität mit bestehenden Firecrawl-API-Standards gewahrt bleibt.

Was passiert ist

Huntsman wird als einzelne Go-Binary und Container-Image bereitgestellt und rendert JavaScript-lastige Seiten unter Verwendung der Lightpanda-Browser-Engine. Im Gegensatz zu schwerfälligeren Alternativen, die auf Playwright oder vollständige Chrome-Installationen angewiesen sind, entfernt Huntsman Werbung, Tracker und Cookie-Banner, um nur den Hauptinhalt bereitzustellen. Das Tool wird unter der Apache-2.0-Lizenz verteilt, enthält jedoch Drittanbieterkomponenten wie den Lightpanda-Browser unter AGPL-3.0 sowie Filterlisten unter GPLv3 oder CC BY-SA 3.0.

Das Projekt bietet eine Firecrawl-kompatible API, die es Teams ermöglicht, ihre bestehenden Clients auf Huntsman umzustellen, indem sie einfach die Basis-URL ändern. Es unterstützt das Scraping einzelner Seiten, die Stapelverarbeitung von bis zu 1.000 URLs und das Crawling ganzer Websites mit konfigurierbaren Tiefenlimits. Das System nutzt eine SQLite-basierte Warteschlange für das Job-Management und umfasst einen Ergebnis-Cache, um redundante Anfragen zu reduzieren.

Wichtige Details

• Leistungsbenchmarks: Auf einer AWS Graviton-Maschine mit 8 vCPUs und 16 GB RAM verarbeitete Huntsman 129 Seiten gleichzeitig mit einer Rate von 11,54 Seiten pro Sekunde und übertraf damit Firecrawl und Crawl4AI in derselben Testumgebung deutlich.
• Ressourceneffizienz: Das Tool skaliert effizient auf kleinerer Hardware und verarbeitet 45 gleichzeitige Seiten auf einer Maschine mit 2 vCPUs und 4 GB RAM ohne Abstürze oder Speicherengpässe.
• Sicherheitsfunktionen: Huntsman blockiert standardmäßig private, Loopback- und Link-Local-Adressen, respektiert robots.txt-Dateien und läuft innerhalb von Containern als Nicht-Root-Benutzer.
• Authentifizierung: Unterstützt Bearer-Token-Authentifizierung über Umgebungsvariablen, was benannte Tokens ermöglicht, die Client-Namen anstelle von rohen Geheimnissen protokollieren, um das Audit zu erleichtern.
• Saubere Ausgabe: Gibt nur Markdown und Links zurück und schließt Screenshots, HTML oder JSON-Extraktion bewusst aus, um die Nutzlast klein zu halten und auf die LLM-Nutzung zu fokussieren.
• Konfiguration: Alle Einstellungen werden über Umgebungsvariablen verwaltet, einschließlich Worker-Anzahl, Cache-TTLs und Auswahl der Adblock-Listen.

Hintergrund

Web-Scraping für KI-Anwendungen erfordert mehr als nur das Herunterladen von HTML. Moderne Websites verlassen sich oft stark auf JavaScript, um Inhalte darzustellen, was bedeutet, dass einfache HTTP-Anfragen den tatsächlichen Text, den Benutzer sehen, verfehlen. Tools wie Huntsman nutzen Headless-Browser, um dieses JavaScript auszuführen, warten, bis die Seite stabil ist, und extrahieren dann den Text. Traditionelle Browser-Automatisierungstools können jedoch ressourcenintensiv sein und erfordern erhebliche CPU- und Speicherkapazitäten, um mehrere Instanzen gleichzeitig auszuführen.

Für Teams, die ihre eigene Infrastruktur betreiben, ist das Management dieser Ressourcen kritisch. Ein Scraper, der unter Last abstürzt oder den gesamten verfügbaren Speicher verbraucht, kann andere Dienste auf demselben Host beeinträchtigen. Huntsman adressiert dies durch die Nutzung von Lightpanda, einer leichtgewichtigeren Browser-Engine, und durch sorgfältiges Management der Parallelität basierend auf verfügbaren CPU- und Speicherlimits. Dieser Ansatz ermöglicht einen höheren Durchsatz auf bescheidener Hardware im Vergleich zu schwerfälligeren Alternativen.

Warum es wichtig ist

Für Engineering-Teams, die RAG-Pipelines erstellen, haben die Qualität und Sauberkeit der Eingabedaten direkten Einfluss auf die Leistung ihrer Sprachmodelle. Störungen durch Navigationsmenüs, Fußzeilen und Werbung können KI-Agenten verwirren und die Token-Kosten erhöhen. Huntsmans Fokus auf die Extraktion nur des Hauptinhalts hilft sicherzustellen, dass die in diese Systeme eingespeisten Daten relevant und prägnant sind. Dies reduziert die Notwendigkeit komplexer Nachbearbeitungsschritte zur Bereinigung der gescrapten Daten.

Operative Zuverlässigkeit ist ein weiteres großes Anliegen bei selbst gehosteten Tools. Viele Open-Source-Scraper kämpfen mit Stabilitätsproblemen beim Skalieren und stürzen häufig ab oder leaken Speicher während großer Crawls. Die von TulipFarm bereitgestellten Benchmarks deuten darauf hin, dass Huntsman auch unter hoher Parallelität stabil bleibt und erst stoppt, wenn die Seitenladezeiten ansteigen, anstatt katastrophal zu versagen. Diese Vorhersehbarkeit ermöglicht es DevOps-Ingenieuren, ihre Infrastruktur genauer zu dimensionieren und unerwartete Ausfälle zu vermeiden.

Zusätzlich senkt die Drop-in-Kompatibilität mit Firecrawl die Einstiegshürde. Teams, die bereits Firecrawl nutzen, können Huntsman testen, ohne ihren Integrationscode neu schreiben zu müssen. Diese Flexibilität ist wertvoll für Organisationen, die ihre Abhängigkeit von externen SaaS-Anbietern reduzieren oder ihre Cloud-Computing-Kosten senken möchten, indem sie Scraping-Workloads intern verlagern.

Was Sie tun können

• Docker-Image testen: Führen Sie das veröffentlichte Container-Image auf einem lokalen Rechner oder einem Staging-Server aus, um die Leistung mit Ihren spezifischen Zielwebsites zu bewerten.
• Benchmarks prüfen: Untersuchen Sie die bereitgestellten Benchmark-Ergebnisse, um festzustellen, ob Huntsmans Durchsatz Ihre Anforderungen an die Datenaufnahme im Vergleich zu Ihrer aktuellen Lösung erfüllt.
• Lizenzkonformität überprüfen: Stellen Sie sicher, dass die Kombination aus Apache-2.0-, AGPL-3.0- und GPL-Lizenzen mit den Open-Source-Nutzungsrichtlinien Ihrer Organisation vereinbar ist, insbesondere hinsichtlich der Lightpanda-Komponente.
• Sicherheitseinstellungen konfigurieren: Aktivieren Sie die Bearer-Token-Authentifizierung und überprüfen Sie die Standardbeschränkungen für private Adressen, um sicherzustellen, dass der Scraper mit Ihren Netzwerk-Sicherheitsrichtlinien übereinstimmt.
• Ressourcennutzung überwachen: Verwenden Sie Umgebungsvariablen, um Worker-Anzahlen und Speicherlimits basierend auf Ihrer verfügbaren Hardware anzupassen, um sicherzustellen, dass das Tool keine anderen Dienste auszehrt.
• Mit Suchtools integrieren: Da Huntsman keine Suchfunktionen enthält, koppeln Sie es mit einer selbst gehosteten Suchmaschine wie SearXNG, wenn Sie URLs vor dem Scraping entdecken müssen.