robots.txt で制限されているディレクトリを検索対象とする方法

Japanese:Fess
1

(from osdn.net/users/qoochan)
よろしくお願いします。

自社サイトの一部については社内向けのため、robots.txtによりrobotクロールの対象外としています。

今回Fessで全文検索を社内向けに構築するにあたり、この対象外としているディレクトリ
を「対象」にしたいと考えています。

テストしたところ、robots,txtが有効に機能していて、fessのクロールが出来ていませんでした。

今回、この、一般向けには制限しているディレクトリを、自社検索用にしたいのですが、どのあたりに手を入れれば良いのかご教示いただけましたら幸いです。

よろしくお願いします。

2

(from osdn.net/users/shatake)
最初に
https://github.com/codelibs/s2robot/blob/s2-robot-parent-0.8.0/s2robot/src/main/resources/s2robot_robotstxt.dicon
のs2robot_robotstxt.diconを
webapps/fess/WEB-INF/classes/s2robot_robotstxt.dicon
として作成し置いてください。
加えて、component要素をコメントアウトしてください。

上記の対応によりrobots.txtが無効となるか試していただけないでしょうか。

よろしくお願いいたします。

3

(from osdn.net/users/qoochan)
[メッセージ #75184 への返信]

最初に
https://github.com/codelibs/s2robot/blob/s2-robot-parent-0.8.0/s2robot/src/main/resources/s2robot_robotstxt.dicon
のs2robot_robotstxt.diconを
webapps/fess/WEB-INF/classes/s2robot_robotstxt.dicon
として作成し置いてください。
加えて、component要素をコメントアウトしてください。

上記の対応によりrobots.txtが無効となるか試していただけないでしょうか。

よろしくお願いいたします。

おかげさまで、うまくクロールできました。素早い回答ありがとうございました。