Docsifyで作られたサイトをWebクロールしたい

Japanese:Fess
1

WindowsでZIP版のFESS 14.6を使用しています。
playwrightを利用すればDocsifyで作られたサイトをクロールできるのかなと試しています。

以下のパラメータでクロールしたところ、エラーが発生しました。
URLなどのパラメータの指定が悪いのか、playwright向けの環境設定が不足しているのか、よくわかっていないです。
何か分かったりしますでしょうか？

URL: https://docsify.js.org/#/
クロール対象とするURL: https://docsify.js.org/#/.*
設定パラメーター: client.crawlerClients=playwright:http://.,playwright:https://.*
スレッド数: 1
間隔: 10000 ミリ秒

org.codelibs.fess.crawler.exception.CrawlerSystemException: Failed to access https://docsify.js.org/#/
at org.codelibs.fess.crawler.client.http.PlaywrightClient.execute(PlaywrightClient.java:227)
at org.codelibs.fess.crawler.CrawlerThread.run(CrawlerThread.java:154)
at java.base/java.lang.Thread.run(Thread.java:833)
Caused by: org.codelibs.fess.crawler.exception.ChildUrlsException: Threw child urls(0). #crawledUrlNotTarget
2

Playwrightのクロールを利用する場合は、Fess 14.6.1をご利用ください。
ZIP版で試す場合には、その実行環境でPlaywrightが起動することを確認してから、試してみてください。環境によっては、依存ライブラリとかを入れておく必要があるので、Playwrightのドキュメントを参照してください。
Docker版を利用する場合は、Tech+の記事が参考になると思います。

3

Dockerを使用せず、ZIP版を使用する場合、Playwrightを使ってどのようにスクレイピングを行うことができますか？

4

Playwrightのドキュメントを参照して、Playwrightが利用できる状態にすれば、利用できるようになると思います。

6

私は理解しました。回答ありがとうございます。しかし、使用中に常に以下のタイムアウト問題が発生します。どのように解決すればよいですか？

org.codelibs.fess.crawler.exception.CrawlingAccessException: Failed to access https://www.oracle.com/industries/payg-services-price-list/
at org.codelibs.fess.crawler.client.http.PlaywrightClient.execute(PlaywrightClient.java:312)
at org.codelibs.fess.crawler.CrawlerThread.run(CrawlerThread.java:154)
at java.base/java.lang.Thread.run(Thread.java:842)
Caused by: com.microsoft.playwright.TimeoutError: Timeout 30000ms exceeded
7

同様のクロール設定がDocker版で動いているのであれば、Playwrightの環境設定に問題があるのだと思うので、Playwrightの設定を見直すのが良いと思います。個別のサポートが必要だれば、商用サポートなどにご相談ください。

8

必要なページをPlaywrightでスクレイピングする際、暗黙的にロードが完了した後でも、ページの内容がまだ完全にロードされていないため、page.wait_for_timeout(15000)を設定する必要があります。この15秒の間にロードが完了しますが、Fessでこのパラメータの設定を変更することは可能ですか？

9

この辺のコードを変更するとかな気がします。