社内のWikiをクロールできない

Japanese:Fess
1

イントラに立ててあるWiki(Pukiwiki)の記事をクロールしたいのですが以下の様に設定しても何もIndexに追加されません。

URL
http://myhost.abc.co.jp/?Project/ABC/Minutes
クロール対象とするURL
http://myhost.abc.co.jp/?Project/ABC/Minutes/.*

深さ
5
間隔
10000
状態
有効

設定方法が基本的に分かっていないのだと思いますが設定方法を学べるドキュメントや設定例などありませんでしょうか。fessのバージョンは14.11.0です。ちなみにTECH+の第3回の記事は参考にしました。

2

http://myhost.abc.co.jp/?Project/ABC/Minutes/.* に/が入っているので、 http://myhost.abc.co.jp/?Project/ABC/Minutes にマッチしていないためだと思います。

3

ご教示ありがとうございます。/を削除してみたところTopページの１件だけヒットしました。深さ設定を無しにもしてみましたが状況変わりません。どの辺りに問題があるのでしょうか。

4

fess-crawler.logでクロール対象のURLなどを確認してください。
あと、クロール対象とするURLはJavaの正規表現になるので、?などは?などにエスケープする必要もあります。

5

ご回答ありがとうございます。
その後いろいろ調べてみてpukiwikiはphpで書かれていますがJavascriptを生成してブラウザに描画させているためにtopページしか出てこないのではないかと思い当たりました。TECH+第50回目のJavascriptのページのクロール方法を参考に試行錯誤してみます。

6

たびたび失礼します。その後設定パラメータに
client.crawlerClients=playwright:http://.,playwright:https://.
を指定してクロールしてみましたが以下のエラーが出て失敗します。
proxy配下で動かしているのでそのせいかと思い、以下の設定も追加しましたが効果ありませんでした。
client.proxyHost=＜proxyのIP＞
client.proxyPort=＜proxyのport＞
この他に考えられる原因などありますでしょうか。

Caused by: java.lang.RuntimeException: Failed to install browsers, exit code: 1
at com.microsoft.playwright.impl.driver.jar.DriverJar.installBrowsers(DriverJar.java:100) ~[driver-bundle-1.38.0.jar:1.38.0]
at com.microsoft.playwright.impl.driver.jar.DriverJar.initialize(DriverJar.java:69) ~[driver-bundle-1.38.0.jar:1.38.0]
at com.microsoft.playwright.impl.driver.Driver.initialize(Driver.java:64) ~[driver-1.38.0.jar:1.38.0]
at com.microsoft.playwright.impl.driver.Driver.createAndInstall(Driver.java:101) ~[driver-1.38.0.jar:1.38.0]
at com.microsoft.playwright.impl.driver.Driver.ensureDriverInstalled(Driver.java:57) ~[driver-1.38.0.jar:1.38.0]
at com.microsoft.playwright.impl.PlaywrightImpl.createImpl(PlaywrightImpl.java:45) ~[playwright-1.38.0.jar:1.38.0]
at com.microsoft.playwright.impl.PlaywrightImpl.create(PlaywrightImpl.java:35) ~[playwright-1.38.0.jar:1.38.0]
at com.microsoft.playwright.Playwright.create(Playwright.java:110) ~[playwright-1.38.0.jar:1.38.0]
at org.codelibs.fess.crawler.client.http.PlaywrightClient.init(PlaywrightClient.java:131) ~[fess-crawler-playwright-14.11.0.jar:?]

7

Failed to install browsers, exit code: 1

Playwrightを利用しているようですので、その環境でPlaywrightをインストールできる状態にする必要があります。このエラーは、Playwrightがブラウザをその環境にインストールできない、という状態だと思います。

8

解決しました。Playwrightがブラウザをインストールできない原因はproxy配下であることでしたが結局fessを起動する際にhttps_proxy環境変数にプロキシを設定してfessを起動することで解決できました。

そこでTECH+の第50回と同じhttps://fess.codelibs.org/jstest/index.htmlをクロールするテストを行ってみたのですが、

JavaScript Test

JavaScript Test Not loaded yet.

というクロール結果になります。これはJavaScriptのページがまだ生成されていない状態だと思いますが、ロードされるまで待つような時間設定とか、調整する方法はありますでしょうか。たびたびすいませんがご教示いただければ幸いです。

9

確認してみましたが、特に問題なく、クロールできていました。
Playwrightのクロールでは、ページがロードされるのを待ってからの取得になるため、その手の調整をする必要はありません。

その記事中に書いてある「設定パラメーター」の値ですが、スクリーンショットの内容は正しいのですが、そのサイトで自動変換がかかっているようなので、文中の文字列で正しい内容は、「 client.crawlerClients=playwright:http://.*,playwright:https://.*」になると思います。

10

結論、うまくいきました。設定パラメータはご指摘の通りで、途中で気が付いて修正はしておりました。ただ以前のクロールの情報が残っていたようで JavaScript Test にupdateが無いと見做されて更新されなくなっていたようです。クロール結果を一度消してみたところ正常にクロールされました。ありがとうございました。

ただ、PukiWikiのクロールはまだうまくいっておらず、もう少し試行錯誤してみます。