htmlファイルのファイルクロール時の挙動について

Japanese:Fess
1

お世話になっております。

ファイルクロールでhtmlファイルをクロールする際に、titleタグを検索結果に表示させるため、
/usr/share/fess/app/WEB-INF/classes/crawler/rule.xmlを修正しました。

component（webHtmlRule）の下記箇所をコメントアウト

<postConstruct name="addRule">
        <arg>"url"</arg>
        <arg>"http[s]?:.*"</arg>
</postConstruct>

こうした場合、titleタグが検索結果で表示されるようになったのですが、
htmlファイル内のアンカータグなどのリンクをクロールしようとして、クロール時間が長くなっているように思います。
httpから始まる絶対パスのリンクはファイルクロールの対象とするパスを適切に設定すれば、除外できる認識ですが、相対パスになると、file:/から始まるので、クロールしようとしてしまいます。

①titleタグが検索結果に表示されつつ、htmlファイル内のリンクをたどるクロールをしたくない場合、方法はありますでしょうか

FESS ver 13.4.5.1
elastic ver 7.4.2.1
RHEL 7.7

2

現状だと、ファイルシステムクロールのHTMLのパースでtitleタグがメタ情報として取得できていないので、設定だけでは難しいかもしれません。次のリリースで対応しようと思います。

1 Like