お世話になっております。
データストア(csvListDatastore)処理nで2点ほど質問があります。
1.file://でのリストでpathまたはファイル名に[、]、%があるとexceptionが発生してます。
これは PR #3056の対応で改善されますでしょうか
エラー内容：java.net.URISyntaxException: Illegal character in path at index nnn
nnnの位置が[ でした。
ログにあるurl自身をブラウザに貼り付けると正しい値です。
2.ログ上はdebugモードで確認しエラーになっていないが
indexの作成、更新が実行されない事象があります。
恐らくbluk処理の為、他のエラーになったファイルに引きずられ
更新がされてない気がしますが、認識はあってますでしょうか
エラーとなるファイルをcsvファイルから取り除き実行すると
indexの作成、更新が実行されます。
環境：windows11
fess:15.5.0
opensearch:3.5.0
補足：2番目にエラーと言っているのはopensearchでのエラーです。
=>OpenSearchException[OpenSearch exception [type=illegal_argument_exception, reason=startOffset must be non-negative, and endOffset must be >= startOffset, and offsets must not go backwards startOffset=6325694,endOffset=6325696,lastStartOffset=6325697 for field ‘content’]]
2026-03-10 14:15:52,188 [20260310141340-1] WARN Failed to access url=‘.xlsx’, depth=0
org.codelibs.fess.exception.DataStoreCrawlingException: Failed to add document. url: .xlsx, configId: DqoWROZwBG7sV5twX5067
at org.codelibs.fess.ds.callback.FileListIndexUpdateCallbackImpl.processRequest(FileListIndexUpdateCallbackImpl.java:509)
at org.codelibs.fess.ds.callback.FileListIndexUpdateCallbackImpl.addDocument(FileListIndexUpdateCallbackImpl.java:242)
at org.codelibs.fess.ds.callback.FileListIndexUpdateCallbackImpl.lambda$store$0(FileListIndexUpdateCallbackImpl.java:155)
at java.base/java.util.concurrent.ThreadPoolExecutor$CallerRunsPolicy.rejectedExecution(ThreadPoolExecutor.java:2004)
at java.base/java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:787)
at java.base/java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1328)
at org.codelibs.fess.ds.callback.FileListIndexUpdateCallbackImpl.store(FileListIndexUpdateCallbackImpl.java:149)
at org.codelibs.fess.ds.csv.CsvDataStore.processCsv(CsvDataStore.java:340)
at org.codelibs.fess.ds.csv.CsvListDataStore.processCsv(CsvListDataStore.java:123)
at org.codelibs.fess.ds.csv.CsvDataStore.storeData(CsvDataStore.java:240)
at org.codelibs.fess.ds.csv.CsvListDataStore.storeData(CsvListDataStore.java:111)
at org.codelibs.fess.ds.AbstractDataStore.store(AbstractDataStore.java:149)
at org.codelibs.fess.helper.DataIndexHelper$DataCrawlingThread.process(DataIndexHelper.java:326)
at org.codelibs.fess.helper.DataIndexHelper$DataCrawlingThread.run(DataIndexHelper.java:305)
Caused by: org.codelibs.fess.opensearch.client.SearchEngineClientException: Failure in bulk execution:
[1]: index [fess.20260219141604229], id [7d71aad73fa49f0d1e9eb78268a3a6d84d8906b15c7b2ea1f59ac69b7c64c8d60217d1761bf12a1755f7f9ac1f7e5a4e68dfb638b348e3c32e828226e2bc7c3], message [OpenSearchException[OpenSearch exception [type=illegal_argument_exception, reason=startOffset must be non-negative, and endOffset must be >= startOffset, and offsets must not go backwards startOffset=6325694,endOffset=6325696,lastStartOffset=6325697 for field ‘content’]]]
at org.codelibs.fess.helper.IndexingHelper.sendDocuments(IndexingHelper.java:130)
at org.codelibs.fess.ds.callback.IndexUpdateCallbackImpl.store(IndexUpdateCallbackImpl.java:162)
at org.codelibs.fess.ds.callback.FileListIndexUpdateCallbackImpl.processRequest(FileListIndexUpdateCallbackImpl.java:496)
#3056はHTMLの話なので、file:// でクロールしたものは関係ないと思います。次のリリースまでには確認してみます。
インデックスのanalyzerなどは標準のものを利用して、illegal_argument_exceptionが起きているのでしょうか？
>file:// でクロールしたものは関係ないと思います。次のリリースまでには確認してみます。
システムのウィザードでも試すと同じ[]#%の状態でした。
あとデータストアでエラーになったpathのファイルですが、ファイルクロール処理した結果のurl には[] ,# はエンコードされておりましたので、ご対応頂ければと思います。
＞インデックスのanalyzerなどは標準のものを利用して、illegal_argument_exceptionが起きているのでしょうか？
analyzerはインストール手順にあるplug inしたもの使用してますが、初期設定状態で一度確認して、また連絡させて頂きます。
illegal_argument_exceptionになっているファイルはexcelでファイルサイズが大きいものとgrepした結果のファイルでgrep対象がbinaryファイルをgrepし、恐らく制御コードが含まれている為に影響を受け発生しているのかなと。
お世話になっております。
illegal_argument_exceptionはfess.jsonの触ってた影響でした。
fess.jsonを修正しillegal_argument_exceptionが発生せずdatastoreが出来る事が確認できました。
© 2020. All Rights Reserved - CodeLibs, Inc.