クモは、Webサイトのインデックス作成を目的として体系的にWorld Wide Webを閲覧するために作成されたプログラムまたはスクリプトです。 クモは、 Webボット 、 Webクローラ 、またはWebロボットとも呼ばれます。

例えば、クモはしばしばウェブページからキーワードを集めるのに使用され、それはユーザがインターネット検索エンジンを通して前記ページを見つけることができるようにソートされる。

ボット、クロール、インターネットの利用規約、ロボット、Robots.txt、Webページ、Webサイト