1日最大20億ページのクローリングを安価に実現!『80legs』

SPONSORED LINK

Pocket

サービスの開発上、大量のウェブページのクローリングが必要な場合もある(お行儀良くやりましょうね)。

通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。

そこで「クローリングならうちに任せて!」と声を上げたのが80legsだ。

なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。

クローリングという実にニッチなサービスではあるが、必要な人にはたまらないのではないだろうか。覚えておいて損はないですな。

80legs

http://www.80legs.com/

膨大な量のクローリングを安価に実現。

管理人の独り言 『終わった。』

無事に帰れてよかった。

今日の運動記録

真っ白になったよ。

ツイッターもやっています!

SPONSORED LINK

  1. No comments yet.

  1. October 4th, 2009
    Trackback from : 研究開発