検索対象（何れもブラウザで表示可）
http://hoge.co.jp/folder1/sample1.pdf
http://hoge.co.jp/folder1/folder2/sample2.pdf
上記3ファイルを1回のクローラーの実行でクロールしたい場合、
ウェブクローラーはどのように設定すればよいのでしょうか。
ウェブクロールで開始URLに指定してください。
失礼しました。説明が不足しておりました。
前回検索対象として明記したものはあくまでもサンプルで、実際には対象となるファイルが数万～数十万の規模で存在します。
また、トップとなるURLは判明しておりますが（上記で言うところのhttp://hoge.co.jp/）、そこから下はユーザが自由に書き換えられるため、日々構成が変わっていくといった構造（例えば今日はhttp://hoge.co.jp/の下はfolder1だけだが明日にはfolder2が出来ている場合がある）です。
開始URLにトップのURLのみを指定し、そこから下は深さで検索する、といった使い方はできますでしょうか。
可能であればパラメーターの指定方法もお教え願います。
トップのURLから対象のファイルにリンクが貼ってあるのであれば、ウェブクロールの設定を作ればクロールされます。対象のURLがわかっているのであれば、これを参考にして、CSVファイルなどにして、クロールすれば良いと思います。
ここでいろいろな記事を公開しているので参考になると思います。
ご返信ありがとうございます。
URLが判明しているのはトップのみで、配下のURLはわかっていない（ユーザによって日々変更されるため）、トップから対象へのリンクが貼っていない場合ですと検索不可ということでしょうか。
ちょっとよくわかっていませんが、Googleも同様だと思いますが、リンクをたどって、たどり着けるのであればインデックスされますし、どこにも参照する情報がなければ、インデックスされないと思います。