クロールは、Webページにアクセスしてそのページ内のコンテンツとリンクを取得するボット、スクリプト、またはソフトウェアプログラムのプロセスを説明するために使用される用語です。 完了すると、プログラムはリスト内の次のリンク、または今アクセスしたばかりのWebページから取得されたリンクのいずれかにアクセスします。

インターネット用語、メタクローラ、検索エンジン、スパイダー