FessでWebクローリングを行ったところ、インデックスのサイズ (ウェブ/ファイル)が0のままです。
過去のFESSでファイルクロールさせるも「インデックスのサイズ (ウェブ/ファイル)」は 0 のままです - #3 by tomokei を参考に"Mounts"をgrepしたところ、“Mounts”: ,となっています。
対処の方法をご教授願います。
バージョン
ホストOS:Ubuntu Server 22.04.3 LTS
Fess:Docer版14.11.0
WebクロールとDockerでのマウントの話は無関係だと思います。
問題点などがわからないので、手順などを具体的に提供していただければと思います。
クロール対象とするURLにURLが含まれていないため、クロールされません。
このサイトマップの中で https://www.mizkan.co.jp/ouchirecipe/recipe/index.html?menu_id= の文字列に該当するページをクロールさせたい場合はどうしたらよろしいのでしょうか
クロールするURLはすべて、クロール対象とするURLに含める必要があります。なので、クロール対象とするURLは
https://www.mizkan.co.jp/sitemap.xml
https://www.mizkan.co.jp/ouchirecipe/recipe/index.html\?menu_id=.*
みたいな感じではないでしょうか。うまく行かないときは、https://www.mizkan.co.jp/.* や https://www.mizkan.co.jp/ouchirecipe/recipe/index.html など、範囲を変えて試してみるなどが良いと思います。
解決いたしました。
ありがとうございました。
また、最大アクセス数も見直して多くデータをクロールできました
諸事情によりDockerからdeb版に移行した際、同じことに遭遇いたしました。
こちらのサイトマップの2つ下の階層(sitemap.xml>sitemap-pt-recipe_card-.>recipe/card/.)にあるURLをクローリングさせたところ、インデックス作成がうまく行きません。
間違えている箇所や追加すべき箇所があれば教えていただけると幸いです。
Fess-crawler.logから抜き出したログをPastebinで共有いたします。
指定しているURLが「クロール対象とするURL」にマッチしていないためだと思います。
解決いたしました。
ありがとうございます。