ファイルクロールに関して

Japanese:Fess
1

お世話になっております。

mimetypeの設定でご対応頂きありがとうございました。
その機能を利用する為に最新15.5へバージョンアップをしているなか、
ファイルクロールがリトライしクロールが進まない事象が発生しました。

過去のtopicと同じく、opensearch側のエラーでリトライしてます。
type”:“stream_constraints_exception”,“reason”:“String value length (50003968) exceeds the maximum allowed (50000000, from StreamReadConstraints.getMaxStringLength()

環境等
contentlength.xml のdefaultMaxLengthは20971520(20M)
設定パラメータのclient.maxContentLengthは未設定、
ファイルはxlsxファイルのfilesize=11,251KB、zipに変更し解凍すると約81MB
で事象が発生しました。
fess 14.19.2(opensearch 2.19.1)環境では正常終了しメタ情報、content情報も作成されます。

client.maxContentLength =20Mにしたのですが、メタ情報は作成されずクロールが終了しません。
client.maxContentLength =10Mにするとファイルサイズが10M以上のファイルのメタ情報も作成されず終了します。

ご確認頂けないでしょうか

また関係ないのですが、fess-crawler.logに下記内容が毎回出力されます。

2026-02-18 10:18:39,699 [main] DEBUG org.codelibs.fess.net.protocol.storage.Handler does not contain PROTOCOL_TYPE.
org.codelibs.core.exception.NoSuchFieldRuntimeException: [ECL0070]Field(PROTOCOL_TYPE) of class(org.codelibs.fess.net.protocol.storage.Handler) not found
at org.codelibs.core.lang.ClassUtil.getDeclaredField(ClassUtil.java:458)
at org.codelibs.fess.helper.ProtocolHelper.lambda$loadProtocols$6(ProtocolHelper.java:150)
at java.base/java.util.ArrayList$ArrayListSpliterator.forEachRemaining(ArrayList.java:1716)
at java.base/java.util.stream.ReferencePipeline$Head.forEach(ReferencePipeline.java:803)
at org.codelibs.fess.helper.ProtocolHelper.loadProtocols(ProtocolHelper.java:147)
at org.codelibs.fess.helper.ProtocolHelper.init(ProtocolHelper.java:80)
at java.base/jdk.internal.reflect.DirectMethodHandleAccessor.invoke(DirectMethodHandleAccessor.java:104)
at java.base/java.lang.reflect.Method.invoke(Method.java:565)
at org.lastaflute.di.util.LdiMethodUtil.invoke(LdiMethodUtil.java:49)
at org.lastaflute.di.core.assembler.AbstractMethodAssembler.invoke(AbstractMethodAssembler.java:59)
at org.lastaflute.di.core.assembler.DefaultInitMethodAssembler.assemble(DefaultInitMethodAssembler.java:40)
at org.lastaflute.di.core.deployer.SingletonComponentDeployer.assemble(SingletonComponentDeployer.java:57)
at org.lastaflute.di.core.deployer.SingletonComponentDeployer.deploy(SingletonComponentDeployer.java:41)
at org.lastaflute.di.core.deployer.SingletonComponentDeployer.init(SingletonComponentDeployer.java:35)
at org.lastaflute.di.core.meta.impl.ComponentDefImpl.init(ComponentDefImpl.java:85)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.doInit(LaContainerImpl.java:434)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.init(LaContainerImpl.java:413)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.doInit(LaContainerImpl.java:431)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.init(LaContainerImpl.java:413)
at org.lastaflute.di.core.factory.SingletonLaContainerFactory.init(SingletonLaContainerFactory.java:65)
at org.codelibs.fess.exec.Crawler.main(Crawler.java:341)
Caused by: java.lang.NoSuchFieldException: PROTOCOL_TYPE
at java.base/java.lang.Class.getDeclaredField(Class.java:2382)
at org.codelibs.core.lang.ClassUtil.getDeclaredField(ClassUtil.java:456)
… 20 more
2026-02-18 10:18:39,701 [main] DEBUG org.codelibs.fess.net.protocol.s3.Handler does not contain PROTOCOL_TYPE.
org.codelibs.core.exception.NoSuchFieldRuntimeException: [ECL0070]Field(PROTOCOL_TYPE) of class(org.codelibs.fess.net.protocol.s3.Handler) not found
at org.codelibs.core.lang.ClassUtil.getDeclaredField(ClassUtil.java:458)
at org.codelibs.fess.helper.ProtocolHelper.lambda$loadProtocols$6(ProtocolHelper.java:150)
at java.base/java.util.ArrayList$ArrayListSpliterator.forEachRemaining(ArrayList.java:1716)
at java.base/java.util.stream.ReferencePipeline$Head.forEach(ReferencePipeline.java:803)
at org.codelibs.fess.helper.ProtocolHelper.loadProtocols(ProtocolHelper.java:147)
at org.codelibs.fess.helper.ProtocolHelper.init(ProtocolHelper.java:80)
at java.base/jdk.internal.reflect.DirectMethodHandleAccessor.invoke(DirectMethodHandleAccessor.java:104)
at java.base/java.lang.reflect.Method.invoke(Method.java:565)
at org.lastaflute.di.util.LdiMethodUtil.invoke(LdiMethodUtil.java:49)
at org.lastaflute.di.core.assembler.AbstractMethodAssembler.invoke(AbstractMethodAssembler.java:59)
at org.lastaflute.di.core.assembler.DefaultInitMethodAssembler.assemble(DefaultInitMethodAssembler.java:40)
at org.lastaflute.di.core.deployer.SingletonComponentDeployer.assemble(SingletonComponentDeployer.java:57)
at org.lastaflute.di.core.deployer.SingletonComponentDeployer.deploy(SingletonComponentDeployer.java:41)
at org.lastaflute.di.core.deployer.SingletonComponentDeployer.init(SingletonComponentDeployer.java:35)
at org.lastaflute.di.core.meta.impl.ComponentDefImpl.init(ComponentDefImpl.java:85)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.doInit(LaContainerImpl.java:434)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.init(LaContainerImpl.java:413)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.doInit(LaContainerImpl.java:431)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.init(LaContainerImpl.java:413)
at org.lastaflute.di.core.factory.SingletonLaContainerFactory.init(SingletonLaContainerFactory.java:65)
at org.codelibs.fess.exec.Crawler.main(Crawler.java:341)
Caused by: java.lang.NoSuchFieldException: PROTOCOL_TYPE
at java.base/java.lang.Class.getDeclaredField(Class.java:2382)
at org.codelibs.core.lang.ClassUtil.getDeclaredField(ClassUtil.java:456)
… 20 more
2026-02-18 10:18:39,703 [main] DEBUG org.codelibs.fess.net.protocol.gcs.Handler does not contain PROTOCOL_TYPE.
org.codelibs.core.exception.NoSuchFieldRuntimeException: [ECL0070]Field(PROTOCOL_TYPE) of class(org.codelibs.fess.net.protocol.gcs.Handler) not found
at org.codelibs.core.lang.ClassUtil.getDeclaredField(ClassUtil.java:458)
at org.codelibs.fess.helper.ProtocolHelper.lambda$loadProtocols$6(ProtocolHelper.java:150)
at java.base/java.util.ArrayList$ArrayListSpliterator.forEachRemaining(ArrayList.java:1716)
at java.base/java.util.stream.ReferencePipeline$Head.forEach(ReferencePipeline.java:803)
at org.codelibs.fess.helper.ProtocolHelper.loadProtocols(ProtocolHelper.java:147)
at org.codelibs.fess.helper.ProtocolHelper.init(ProtocolHelper.java:80)
at java.base/jdk.internal.reflect.DirectMethodHandleAccessor.invoke(DirectMethodHandleAccessor.java:104)
at java.base/java.lang.reflect.Method.invoke(Method.java:565)
at org.lastaflute.di.util.LdiMethodUtil.invoke(LdiMethodUtil.java:49)
at org.lastaflute.di.core.assembler.AbstractMethodAssembler.invoke(AbstractMethodAssembler.java:59)
at org.lastaflute.di.core.assembler.DefaultInitMethodAssembler.assemble(DefaultInitMethodAssembler.java:40)
at org.lastaflute.di.core.deployer.SingletonComponentDeployer.assemble(SingletonComponentDeployer.java:57)
at org.lastaflute.di.core.deployer.SingletonComponentDeployer.deploy(SingletonComponentDeployer.java:41)
at org.lastaflute.di.core.deployer.SingletonComponentDeployer.init(SingletonComponentDeployer.java:35)
at org.lastaflute.di.core.meta.impl.ComponentDefImpl.init(ComponentDefImpl.java:85)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.doInit(LaContainerImpl.java:434)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.init(LaContainerImpl.java:413)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.doInit(LaContainerImpl.java:431)
at org.lastaflute.di.core.meta.impl.LaContainerImpl.init(LaContainerImpl.java:413)
at org.lastaflute.di.core.factory.SingletonLaContainerFactory.init(SingletonLaContainerFactory.java:65)
at org.codelibs.fess.exec.Crawler.main(Crawler.java:341)
Caused by: java.lang.NoSuchFieldException: PROTOCOL_TYPE
at java.base/java.lang.Class.getDeclaredField(Class.java:2382)
at org.codelibs.core.lang.ClassUtil.getDeclaredField(ClassUtil.java:456)
… 20 more

2

すみません、fess.jsonに
“type_table”: [ “_ => SUBWORD_DELIM” ]
を追加してました。

ただ「client.maxContentLength」の挙動とリトライを繰り返す挙動が気になります。

3

追伸
fess.jsonを14.19.2側にコピーし、fess再起動後に実施したところクロールが完了しました。

4

String value length (50003968) exceeds the maximum allowed

Analyzerの設定がおかしいとかで、インデックスがおかしな状態になっていると思われるので、いろんな問題が起きる気はします。

PROTOCOL_TYPEのはデバッグログ出るものなので、無視して問題ありません。

5

ご回答ありがとうございます。

＞PROTOCOL_TYPEのはデバッグログ出るものなので、無視して問題ありません。
PROTOCOL_TYPEは無視します。

それでfess.jsonをデフォルトに戻し、INDEXを削除、
fessの再起動後に実行したところ、リトライを繰り返し終わりませんでした。

6

どのようなログが出ているのでしょうか？Fessに出ていなければ、OpenSearch側に出ている気がします。

7

画像になりますが、fess,opensearchのエラーログとフォルダと検索結果画面で、
fess側のエラーログで実際にエラーになっているurlが途中で切れてでおりません。
（本当はもっとファイルがあったので探すのに手間取りました、
現状は100万件程度あるファイルで1ファイルで発生しておりファイルを除外してます）

下 ドラッグがエラーになっているファイル

スクリーンショット 2026-02-20 110137
スクリーンショット 2026-02-20 110137570×294 16.7 KB

スクリーンショット 2026-02-20 105546
スクリーンショット 2026-02-20 1055461731×327 25.8 KB

スクリーンショット 2026-02-20 105611
スクリーンショット 2026-02-20 1056111595×680 18.3 KB

スクリーンショット 2026-02-20 105934
スクリーンショット 2026-02-20 105934480×993 32.6 KB

8

OpenSearch側でopensearch.xcontent.string.length.maxの設定を変えてみるとかでしょうか。