お世話になります。
たとえば
https://example.com/files/74221/074221/a00001.pdf
はクロール対象にしたいが、
https://example.com/files/74221/074221/
はクロール対象から外したい場合は、
どのように設定すればよろしいでしょうか。
お世話になります。
たとえば
https://example.com/files/74221/074221/a00001.pdf
はクロール対象にしたいが、
https://example.com/files/74221/074221/
はクロール対象から外したい場合は、
どのように設定すればよろしいでしょうか。
https://example.com/files/74221/074221/
をクロールしない&検索対象としない場合は
(そのURLにHTMLページが存在しない場合など)
→「クロール対象から除外するURL」に .*/$
を設定する
https://example.com/files/74221/074221/
をクロールする&検索対象としない場合は
(そのURLにHTMLページがあり、クロール対象となるリンクがある場合など)
→「検索対象から除外するURL」に .*/$
を設定する
早速のご回答ありがとうございます。助かりました。
© 2020. All Rights Reserved - CodeLibs, Inc.