ファイル名の無いURLをクロールから除外したい

お世話になります。

たとえば
https://example.com/files/74221/074221/a00001.pdf
はクロール対象にしたいが、
https://example.com/files/74221/074221/
はクロール対象から外したい場合は、
どのように設定すればよろしいでしょうか。

https://example.com/files/74221/074221/ をクロールしない&検索対象としない場合は
(そのURLにHTMLページが存在しない場合など)
→「クロール対象から除外するURL」に .*/$ を設定する

https://example.com/files/74221/074221/ をクロールする&検索対象としない場合は
(そのURLにHTMLページがあり、クロール対象となるリンクがある場合など)
→「検索対象から除外するURL」に .*/$ を設定する

1 Like

早速のご回答ありがとうございます。助かりました。