#spider
3 プロジェクト Elixir
Scrapyに限界を感じ、Pythonが遅いとき:ElixirでCrawlyを使ってデータを収集する
Scrapyの限界に達し、Pythonが遅くなったとき、BEAM VM上のCrawlyは、熟悉のコンセプトと組み込み管理ツールを備えた大規模Webスクレイピングの強力な代替手段を提供します。
Java
Spider-flowでコードを書かずにデータを収集する方法
Spider-flowはWebスクレイピングをビジュアルプログラミングに変えます。GitHubで11k以上のスターを持つこのJavaベースのプラットフォームでは、ブラウザでフローチャートを描くだけでパーサーを構築できます。
11,338