So verbinden Sie Tausende vorgefertigte Parser mit Ihrem LLM

Wenn Sie mit Sprachmodellen in realen Projekten arbeiten, stoßen Sie ziemlich schnell auf dasselbe Problem. Das Modell ist großartig im Reasoning und beim Schreiben von Code, aber es ist blind. Es benötigt frische Daten aus der externen Welt: aktuelle Beiträge aus sozialen Netzwerken, Firmenkontakte aus Karten, Produktkarten aus Marktplätzen oder frische Suchmaschinenergebnisse.

In der Regel beginnt ein Entwickler an diesem Punkt, benutzerdefinierte Tools für Function Calling zu schreiben, Wrapper um Playwright zu bauen oder Pipelines durch Cheerio zusammenzustellen. Nach ein paar Wochen der Wartung solcher Skripte bemerken Sie, dass die Hälfte der Zeit damit verbracht wird, gegen Captchas, Layouts und veraltete Selektoren anzukämpfen.

Das Apify-Team hat dieses Problem durch das Model Context Protocol gelöst und das Projekt apify-mcp-server veröffentlicht. Im Wesentlichen haben sie ihren gesamten Katalog vorgefertigter Cloud-Scraper in eine einheitliche Tool-Calling-Schnittstelle für KI-Agenten umgewandelt.

Was es ist und warum Sie es brauchen

Das Repository enthält eine MCP-Server-Implementierung, die lokale oder Cloud-Clients (Claude Desktop, Cursor, VS Code, ChatGPT) mit der Apify-Plattform verbindet. Die Plattform führt Tausende vorgefertigter Skripte namens Actors aus. Jeder solche Actor kann strukturierte Daten von bestimmten Websites abrufen: Google Maps, Facebook, Instagram, Online-Shops oder einfach Websites für RAG crawlen.

Statt die Schemas für Dutzende von APIs für Ihr Modell manuell zu beschreiben, verbinden Sie einen einzelnen Endpunkt. Der Assistent sucht selbst nach dem richtigen Scraper im Katalog, liest dessen JSON-Schema, validiert Eingabeparameter und startet die Datensammlung.

So funktioniert Tool Calling

Das Hauptmerkmal des Servers ist die dynamische Tool-Erkennung. Sie müssen die Konfiguration jedes erforderlichen Parsers nicht im Voraus fest codieren.

Standardmäßig stellt der Server dem Agenten einen grundlegenden Satz von Aktionen bereit:

1. search-actors findet einen geeigneten Scraper im Katalog anhand einer Textabfrage.
2. fetch-actor-details ruft das Eingabeparameter-Schema und die Dokumentation des gefundenen Skripts ab.
3. call-actor startet die Aufgabenausführung auf der Apify-Infrastruktur.
4. get-dataset-items ruft fertige strukturierte Ergebnisse in Batches mit Unterstützung für Pagination ab.
5. apify--rag-web-browser ist als schnelles Web-Such- und Content-Parsing-Tool für RAG integriert.

Wenn Sie Claude fragen: "Finden Sie die Top 10 Cafés in Prag auf Google Maps mit Telefonnummern", sagt der Agent nicht, dass er keinen Zugriff hat. Er ruft search-actors auf, findet den Google Maps Scraper, übergibt Koordinaten und Stadt daran, wartet auf das Ergebnis und liest den Datensatz.

{
  "query": "coffee shops in Prague",
  "maxResults": 10
}

Das Modell selbst generiert dieses JSON und prüft es gegen das Parameterschema des ausgewählten Scrapers.

Verbindungsoptionen: Cloud vs. lokaler Betrieb

Sie können den Server auf zwei Arten mit dem Client verbinden. Die Wahl hängt davon ab, wo Ihr Agent läuft.

1. Gehostete Option über Streamable HTTP

Der einfachste Weg für Claude.ai oder VS Code. Das eigene Team von Apify hostet ihn unter mcp.apify.com. OAuth-Autorisierung wird unterstützt, sodass Sie in einigen Clients API-Token nicht einmal manuell kopieren müssen.

Wenn Sie nur ein bestimmtes Tool ohne zusätzliche Belastung des Kontexts des Modells benötigen, können Sie Parameter direkt in der URL übergeben:

https://mcp.apify.com?tools=apify/rag-web-browser

In diesem Modus gibt der Server dem Agenten nur ein Such-Tool, ohne den Kontext mit Metadaten von anderen Parsern zu überladen.

2. Lokaler Betrieb über stdio

Wenn Sie Claude Desktop oder einen lokalen Agenten im Terminal konfigurieren, starten Sie den Server über npx:

export APIFY_TOKEN="ваш_токен_apify"
npx @apify/actors-mcp-server --tools actors,docs,apify/rag-web-browser

Der lokale Prozess liest Umgebungsvariablen, sammelt Schemas und kommuniziert über Standard-Input/Output-Streams mit dem Client.

Bezahlung ohne Kontoerstellung

Ein interessantes architektonisches Detail betrifft die Agenten-Ökonomie. Was tun Sie, wenn ein KI-Agent autonom arbeitet und kein registriertes Apify-Profil mit verknüpfter Karte hat?

Die Entwickler haben Unterstützung für automatische Zahlungsprotokolle eingebaut:

• AGI: Der Agent kauft ein Prepaid-Token mit einem Limit über Micropayments durch x402 oder MPP und verwendet es als Standard-Bearer-Token.
• Direct x402: Zahlung in USDC im Base-Netzwerk für jede spezifische Ausführung über das mcpc-Dienstprogramm. Ungenutztes Guthaben wird nach 60 Minuten Inaktivität automatisch an das Wallet des Agenten zurückerstattet.
• Skyfire: Der Agent generiert Zahlungstoken durch die Skyfire-Infrastruktur und übergibt sie in Tool-Call-Parametern.

Dies beseitigt die Abrechnungsproblematik, wenn Agenten in vollständig isolierten Umgebungen operieren.

Technische Feinheiten und Einschränkungen

Die Codebasis enthält mehrere praktische Lösungen, die bei der Integration berücksichtigt werden sollten:

• Eingabeparameter-Schemas werden gekürzt. Lange Feldbeschreibungen werden auf 500 Zeichen gekürzt und Enum-Wertlisten sind auf 20.000 Zeichen begrenzt. Dies ist beabsichtigt, damit schwere Schemas von komplexen Parsern nicht den Kontextwindow des Modells auffressen.
• Der call-actor-Aufruf gibt nicht das gesamte geparste Datenarray auf einmal in der ersten Antwort zurück. Er gibt die Dataset-ID und die Run-Metadaten zurück. Um Zeilen abzurufen, führt der Agent den nächsten Schritt über get-dataset-items aus. Dies schützt den Kontext davor, mit Gigabytes an Text überzulaufen.
• Das Senden von Telemetrie und Sentry sind standardmäßig im stdio-Modus aktiviert. Sie können sie mit dem --telemetry-enabled=false-Flag oder der TELEMETRY_ENABLED=false-Umgebungsvariable deaktivieren.

Für wen ist dieses Projekt in der Praxis nützlich

Wenn Sie autonome Agenten für Recherche, Wettbewerbsanalyse, Lead-Generierung oder Preisüberwachung erstellen, spart das Projekt Wochen an Arbeit an der Scraping-Infrastruktur. Anstatt Ihre eigenen Crawler zu schreiben, erhalten Sie über ein standardisiertes Protokoll sofortigen Zugriff auf bewährte Parser.

Der einfachste Weg zu beginnen ist, den gehosteten Endpunkt https://mcp.apify.com mit Claude Desktop oder Cursor zu verbinden und das grundlegende Tool apify/rag-web-browser zu testen. Für enge Produktionsaufgaben ist es besser, die Liste der Tools sofort über den tools-Parameter fest zu codieren, damit der Agent keine Token für unnötige Katalogsuchen verschwendet.