Rust
Como Executar um Parser de Sites Rápido para LLMs com Apenas 14 Megabytes de RAM
Um web scraper leve baseado em Rust que usa apenas 14MB de RAM e gera Markdown limpo para LLMs.
#crawler
5 projetos JavaScript
Como Descobrir Que Proteção Está Rodando em um Site e O Que Ela Está Coletando Sobre Você
Uma extensão Chrome que detecta sistemas anti-bot, CAPTCHAs e 21 técnicas de fingerprinting em tempo real, ajudando desenvolvedores e pesquisadores de segurança a identificar qual proteção está rodando em qualquer site.
Python
Como Confundir Scanners de Vulnerabilidade com Krawl
Krawl é um servidor de engano que finge ser um aplicativo web vulnerável, alimentando scanners com páginas-armadilha infinitas e desperdiçando seus recursos.
Elixir
Quando o Scrapy Fica Apertado e o Python É Lento: Coletando Dados com Elixir Usando Crawly
Quando o Scrapy atinge seus limites e o Python rasteja, o Crawly na BEAM VM oferece uma poderosa alternativa para web scraping em grande escala com conceitos familiares e ferramentas de gerenciamento integradas.
Java
Como Coletar Dados Sem Dor ou Código Usando Spider-flow
Spider-flow transforma web scraping em programação visual. Com mais de 11k estrelas no GitHub, esta plataforma baseada em Java permite criar parsers desenhando fluxogramas no navegador.
11,338