クロールが直ぐ停止する

Japanese:Fess
1

(from osdn.net/users/okskm)
FESS10.3を使用させて頂いております。

クロール出来ていないファイルがあるにも関わらず、クロールを実行すると10分ほどでクロールが終了（取得できたドキュメントは0件）する状況が続いています。このような場合、どう対応したら良いでしょうか？

■背景
サーバーＰＣにある数百万件のドキュメントをクロールしたいと考えています。
色々調べると、通常の設定では数百万件のドキュメントクロールは難しいようなので、FESSやクローラーの使用メモリを変えるなどして2百万件ほどインデックス付けできました。
現在は上記の状態になっており、クロール－を実行しても何もインデックスされない状況が数日づづいています。

2

(from osdn.net/users/shinsuke)
log/fess-crawler.logをご確認ください。

何度もエラーになるファイルなどは除外されたりします。

3

(from okskm's Profile - OSDN)
[メッセージ #78879 への返信]

ご回答ありがとうございます。

log/fess-crawler.logをご確認ください。

fess-crawler.logを確認すると、以下のようなエラーが出力されていました。
エラーからどの設定が悪いか分かればご教授下さい。

2016-10-17 00:00:13,308 [main] ERROR Crawler does not work correctly.
org.lastaflute.di.exception.ContainerInitFailureException: Look! Read the message below.
/* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
Failed to initialize the container.

[Path]
fess.xml

[Namespace]
null

[Included by]
app.xml

                  • */
                    at org.lastaflute.di.core.meta.impl.LaContainerImpl.throwContainerInitFailureException(LaContainerImpl.java:463)
                    at org.lastaflute.di.core.meta.impl.LaContainerImpl.init(LaContainerImpl.java:415)
                    at org.lastaflute.di.core.meta.impl.LaContainerImpl.doInit(LaContainerImpl.java:431)
                    at org.lastaflute.di.core.meta.impl.LaContainerImpl.init(LaContainerImpl.java:413)
                    at org.lastaflute.di.core.factory.SingletonLaContainerFactory.init(SingletonLaContainerFactory.java:66)
                    at org.codelibs.fess.exec.Crawler.main(Crawler.java:188)
                    Caused by: org.lastaflute.di.core.exception.IllegalMethodRuntimeException: [ESSR0060]Can not configure method(init) of org.codelibs.fess.helper.SuggestHelper, because org.codelibs.fess.suggest.exception.SuggestSettingsException: Failed to add to array.
                    at org.lastaflute.di.core.assembler.AbstractMethodAssembler.invoke(AbstractMethodAssembler.java:61)
                    at org.lastaflute.di.core.assembler.DefaultInitMethodAssembler.assemble(DefaultInitMethodAssembler.java:40)
                    at org.lastaflute.di.core.deployer.SingletonComponentDeployer.assemble(SingletonComponentDeployer.java:57)
                    at org.lastaflute.di.core.deployer.SingletonComponentDeployer.deploy(SingletonComponentDeployer.java:41)
                    at org.lastaflute.di.core.deployer.SingletonComponentDeployer.init(SingletonComponentDeployer.java:35)
                    at org.lastaflute.di.core.meta.impl.ComponentDefImpl.init(ComponentDefImpl.java:83)
                    at org.lastaflute.di.core.meta.impl.LaContainerImpl.doInit(LaContainerImpl.java:434)
                    at org.lastaflute.di.core.meta.impl.LaContainerImpl.init(LaContainerImpl.java:413)
                    … 4 common frames omitted]

何度もエラーになるファイルなどは除外されたりします。
全般の設定

障害数のしきい値を-1としています。
-1にするとこの機能は動作していないと認識しているのですが、誤っていますか？

4

(from osdn.net/users/shinsuke)
10.3.0-beta1で確認してみたのですが問題を再現できていません。
何か設定を変更されたり、アップグレードインストールだったりしますでしょうか？

-1にするとこの機能は動作していないと認識しているのですが、誤っていますか？

その認識で正しいです。

5

(from osdn.net/users/okskm)
[メッセージ #78913 への返信]

お世話になっております。

10.3.0-beta1で確認してみたのですが問題を再現できていません。
何か設定を変更されたり、アップグレードインストールだったりしますでしょうか？

ファイルクロールの設定でスレッド数を2に変更しています。
また、クロールメモリや取得できるファイルサイズを変更するために以下のファイルの設定を変更しています。
・bin\fess.in.bat ：set FESS_MAX_MEM=4g
・app\WEB-INF\classes\crawler\contentlength.xml ：10485700
・app\WEB-INF\classes\fess_config.properties ：-Xmx2g\n\

■補足情報
クロールパスを 〇〇/△△/.*としていたのを〇〇/△△/と変更したところ少しクロールするようになりました。

現在は上記のような状態です。
何か解決策あればご教授下さい。

6

(from osdn.net/users/shinsuke)

クロールパスを 〇〇/△△/.*としていたのを〇〇/△△/と変更したところ少しクロールするようになりました。

クロールの設定が期待通りの設定になっていないための
可能性があるように思います。

7

(from okskm's Profile - OSDN)

クロールの設定が期待通りの設定になっていないための
可能性があるように思います。

ご返信ありがとうございます。
クロールの設定を見直してみます。
また、問題が発生したらご相談させて下さい。