- 2009-09-28 (Mon) 8:54
- 便利ツール（ウェブ）
サービスの開発上、大量のウェブページのクローリングが必要な場合もある（お行儀良くやりましょうね）。
通常、そうしたクローリングには別途マシンを割り当ててがしがし処理をまわすのだが、あまりに膨大な量のクローリングをする必要がある場合、いろいろとコストがかかってしまう。
そこで「クローリングならうちに任せて！」と声を上げたのが80legsだ。
なんと5万台のマシンを使い、最大20億ページ/日のクローリングが可能だという。しかもデータセンターやクラウドを使うよりぐっと安価ときている。なおかつ、使い方も簡単で、どんなクローリングをしたいかをフォームで申し込むだけらしい。
クローリングという実にニッチなサービスではあるが、必要な人にはたまらないのではないだろうか。覚えておいて損はないですな。
管理人の独り言 『終わった。』
無事に帰れてよかった。
今日の運動記録
真っ白になったよ。
Comments:0
Trackbacks:1
- Trackback URL for this entry
- http://www.100shiki.com/archives/2009/09/80legs.html/trackback
- Listed below are links to weblogs that reference
- 1日最大20億ページのクローリングを安価に実現！『80legs』 from 100SHIKI ～ 世界のアイデアを日替わりで
- trackback from 研究開発 09-10-04 (Sun) 11:26
-
SemanticWeb – 80legs web crawling cloud
80legsというweb crawler クラウドサービスがあります。
ユーザ登録はメールアドレスだけで使えます。
以下の80legsへのリンク先↓URLはどれもログイン状態でなければアクセスできないと思…
