1日最大20億ページのクローリングを安価に実現！『80legs』

サービスの開発上、大量のウェブページのクローリングが必要な場合もある（お行儀良くやりましょうね）。

通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。

そこで「クローリングならうちに任せて！」と声を上げたのが80legsだ。

なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。

クローリングという実にニッチなサービスではあるが、必要な人にはたまらないのではないだろうか。覚えておいて損はないですな。

ツイッターもやっています！