Come eseguire un parser web veloce per LLM con soli 14 megabyte di RAM
L'ultima volta che ho provato a distribuire uno stack locale per il web scraping in una pipeline RAG, il mio modesto VPS ha rapidamente implorato pietà. La combinazione di motori browser, code di attività e runtime pesanti ha divorato istantaneamente gigabyte di memoria. Se anche tu hai provato a eseguire in locale soluzioni popolari come Firecrawl, probabilmente ricordi quei requisiti di sistema.
Recentemente, il progetto fastCRW ha attirato la mia attenzione (nel repository è semplicemente chiamato crw). L'autore ha riscritto le familiari funzioni di scraping e crawling in Rust, inserendo tutto in un binario compatto.
Cosa può fare il progetto
fastCRW è stato concepito come alternativa diretta a Firecrawl e Tavily. Recupera pagine web tramite URL e le fornisce come Markdown pulito, pronto per essere consumato dai modelli linguistici, o come JSON strutturato.
Lo strumento gestisce quattro attività principali:
- Scrape: converte una pagina in Markdown, HTML grezzo o screenshot.
- Crawl: attraversa sistematicamente le pagine del sito tramite link interni rispettando robots.txt.
- Map: costruisce una mappa dei link di una risorsa senza caricare completamente ogni pagina.
- Search: cerca su internet ed esporta immediatamente i risultati.
Secondo i benchmark nel repository, su un dataset aperto di mille indirizzi, fastCRW ha mostrato buona velocità di caricamento e completezza nell'estrazione dei dati, mentre il binario inattivo utilizza solo circa 14 megabyte di RAM.
Come utilizzarlo
Puoi provare l'utility localmente senza registrazione, oppure connettere un backend cloud con un tier gratuito.
Installazione nel terminale:
curl -fsSL https://fastcrw.com/install | sh
Subito dopo, la CLI è disponibile. Una chiamata semplice restituirà Markdown analizzato direttamente nello stream di output:
crw https://example.com
Integrazione nel codice
Per gli sviluppatori sono disponibili librerie pronte all'uso. Ecco come appare la raccolta dati in Python:
from crw import CrwClient
client = CrwClient()
page = client.scrape("https://example.com", formats=["markdown"])
print(page["markdown"])
Per Node.js, la sintassi è praticamente identica:
import { CrwClient } from "crw-sdk";
const client = new CrwClient();
const page = await client.scrape("https://example.com", {
formats: ["markdown"],
});
console.log(page.markdown);
Connessione agli assistenti AI tramite MCP
Un vantaggio aggiuntivo è il supporto per il Model Context Protocol. Questo significa che l'utility può essere rapidamente connessa come strumento per Claude Desktop, Cursor o qualsiasi altro agente.
Comando per la configurazione automatica di MCP:
npx -y crw-mcp@latest install
Dopo l'installazione, il modello acquisisce la capacità di cercare autonomamente sul web e leggere pagine senza workaround con script esterni.
Opzioni di deployment e licenze
Il progetto ha due percorsi di utilizzo. Il primo è l'esecuzione di un binario locale sui propri server sotto Linux o macOS. Il secondo è un'API cloud con rendering JavaScript pesante e ricerca già pronti.
È importante esaminare le licenze se prevedi di distribuire lo strumento in produzione. Il motore stesso e il server MCP sono distribuiti sotto la licenza restrittiva AGPL-3.0. Le librerie client per Python e TypeScript sono aperte sotto la familiare MIT.
A chi è rivolto
fastCRW è un'ottima scelta se stai costruendo sistemi RAG, raccogliendo dati per il fine-tuning dei modelli o creando agenti AI autonomi. Il progetto elimina la necessità di mantenere una flotta pesante di browser solo per estrarre testo normale da articoli e documentazione.
Se sei stanco di dedicare metà delle risorse del tuo server a parser pesanti, prova a eseguire crw in locale — la differenza nel consumo di memoria è evidente fin dai primi secondi.
Progetti correlati