クロールが途中で終了してしまう

Japanese:Fess
1

ファイルクロール中にIndexUpdaterでエラーが発生し、途中でクロールが終了してしまいます。
IndexUpdaterで発生しているエラーは、次の通りです。

2021-10-19 17:52:07,037 [IndexUpdater] ERROR IndexUpdater is terminated.
java.lang.ArrayIndexOutOfBoundsException: Index 866 out of bounds for length 128
at org.codelibs.core.misc.Base64Util.decode(Base64Util.java:134) ~[corelib-0.5.4.jar:?]
at org.codelibs.core.misc.Base64Util.decode(Base64Util.java:89) ~[corelib-0.5.4.jar:?]
at org.codelibs.fess.crawler.entity.EsAccessResultData.(EsAccessResultData.java:43) ~[fess-crawler-es-3.15.0.jar:?]
at org.codelibs.fess.crawler.service.impl.AbstractCrawlerService.get(AbstractCrawlerService.java:338) ~[fess-crawler-es-3.15.0.jar:?]
at org.codelibs.fess.crawler.service.impl.EsDataService.getAccessResult(EsDataService.java:84) ~[fess-crawler-es-3.15.0.jar:?]
at org.codelibs.fess.crawler.entity.EsAccessResult.getAccessResultData(EsAccessResult.java:77) ~[fess-crawler-es-3.15.0.jar:?]
at org.codelibs.fess.indexer.IndexUpdater.processAccessResults(IndexUpdater.java:342) ~[classes/:?]
at org.codelibs.fess.indexer.IndexUpdater.run(IndexUpdater.java:233) [classes/:?]

また、上記のエラーが発生する前には、以下のような警告が発生しておりました。

2021-10-19 17:51:56,832 [IndexUpdater] WARN Failed to access data. Retry to access it 3 times.
java.lang.ArrayIndexOutOfBoundsException: Index 866 out of bounds for length 128
at org.codelibs.core.misc.Base64Util.decode(Base64Util.java:134) ~[corelib-0.5.4.jar:?]
at org.codelibs.core.misc.Base64Util.decode(Base64Util.java:89) ~[corelib-0.5.4.jar:?]
at org.codelibs.fess.crawler.entity.EsAccessResultData.(EsAccessResultData.java:43) ~[fess-crawler-es-3.15.0.jar:?]
at org.codelibs.fess.crawler.service.impl.AbstractCrawlerService.get(AbstractCrawlerService.java:338) ~[fess-crawler-es-3.15.0.jar:?]
at org.codelibs.fess.crawler.service.impl.EsDataService.getAccessResult(EsDataService.java:84) ~[fess-crawler-es-3.15.0.jar:?]
at org.codelibs.fess.crawler.entity.EsAccessResult.getAccessResultData(EsAccessResult.java:77) ~[fess-crawler-es-3.15.0.jar:?]
at org.codelibs.fess.indexer.IndexUpdater.processAccessResults(IndexUpdater.java:342) ~[classes/:?]
at org.codelibs.fess.indexer.IndexUpdater.run(IndexUpdater.java:233) [classes/:?]

ファイル数が約十万件のフォルダに対してクロールをしておりますが、毎回IndexUpdaterが途中で終了し、最後までクロールが完了いたしません。
何か原因がわかるようでしたら、お教えいただけますでしょうか。

実行環境は以下の通りです。
Fess:13.15.0
Elasticsearch:7.15.0

2

このエラーが起きる直前にクロールしていたものを確認するのが良いと思います。elasticsearchにログに何も出ていなようであれば、直前にクロールしたもののどれかのファイルに問題があるのかもしれません。

3

ありがとうございます。
elasticsearchのログを確認いたしましたが、特に何も出ておりませんでした。
また、エラー直前にクロールを行っていたファイルについては、別でクロールを行ったところそのファイルに対してのクロールが成功しておりましたので、問題があるようには思えませんでした。

ただ、ヒープメモリーの最大値やファイルサイズの上限などを変更し、エラーが発生しているフォルダに対してクロールを行ったところ、IndexUpdaterのエラーは発生せず、クロールが完了いたしました。
そのため、原因は特定できておりませんが、IndexUpdaterのエラーに関してはこのまま様子を見ようと思います。
他にもエラーが発生しており、こちらで解決できなかった場合はまたお世話になると思いますので、その際はよろしくお願いいたします。
ありがとうございました。