ファイルクロールで同じファイルをクロールするケースがある

Japanese:Fess
1

Windowsサーバーのファイルクロールにおいて、下記のような内容でクロールを実施したところ
fess-crawler.logに2回同じファイルパスをクロールしている箇所が散見されました。
クロール対象のファイル数は65000強です。

＜クロール設定＞
・パス：
smb://servernm/001_フォルダA/■001_xxx（201012~)/
・クロール対象とするパス：
./$
..pptx$
.*.PPTX$
（以下略、複数のファイル拡張子を指定しています）

・スレッド数：5
・間隔：1000ミリ秒
・ブースト値：1.0
・パーミッション：{role}guest

※その他、クロール対象から除外するパス・検索対象とするパス・検索対象から除外するパス等は未設定

同時刻に平行実施していたジョブはありません。
気付いた点としては、1回目と2回目のCrawling URL行を比較すると、処理されたスレッドが異なっているようでした。
（ [Crawler-s6sP7IEBIbI26gy_e8NQ-1-2] と[Crawler-s6sP7IEBIbI26gy_e8NQ-1-4]というのが、スレッド情報を表していると考え、その様に考えました）

1回目のCrawling URL行
2022-07-21 21:39:41,411 [Crawler-s6sP7IEBIbI26gy_e8NQ-1-2] INFO Crawling URL: smb://servernm/001_フォルダA/■001_xxx（201012~)/（略）/xxx.xlsx

2回目のCrawling URL行
2022-07-22 03:03:14,060 [Crawler-s6sP7IEBIbI26gy_e8NQ-1-4] INFO Crawling URL: smb://servernm/001_フォルダA/■001_xxx（201012~)/（略）/xxx.xlsx

このような現象は通常のクロール処理で想定されている動きになるのでしょうか？
もしくは設定に不備があるなど、何等かの原因が考えられるものなのでしょうか？
お手数ですがご教示いただきたく、よろしくお願い致します。

2

通常の設定では、見たことがない現象ですね。smbの場合は幅優先みたいな感じでフォルダをクロールしていくので、結構な時間差でその現象が発生するのはちょっと不思議な気がします。
インデックスの設定がおかしいとかのような気もしないでもないですが、数件くらいのクロール対象にして、デバッグログとかで確認するのが良いと思います。

3

shinsuke様
ご回答ありがとうございます。
同じ設定で再度クロール処理を実施してみたのですが、なぜか同一ファイルをクロールするログは出現しませんでした。
過去のクロール結果からも、毎回必ず発生する訳では無い事も分かってきました。
今後も継続確認していき、まずはどのような条件下で発生するのかを明確に出来ればと思います。
アドバイスありがとうございました、何か新たに分かりましたら改めてご相談させてください。
どうぞよろしくお願い致します。