ファイルクロールと ElasticSearch に登録されるドキュメント数が異なる

Japanese:Fess
1

お世話になります。

ファイルクロールが期待通りに動作しないためご教授いただけますと助かります。
使用している環境は以下です。

fess-13.8.2（elasticsearch-7.8.1）
Oracle Linux 8.4

ファイルクロールを設定し、ジョブ（Default Crawler）を実行した結果、
以下の通り Fess がクロールしたファイル数（20908）と、
ElasticSearch に登録されるドキュメント数（9139）が異なる問題が発生しました。
＃ElasticSearch にも 20908 ドキュメントが登録されることを期待しています。

fess-crawler.log

2021-09-16 05:53:29,926 [main] INFO [CRAWL INFO] DataCrawlEndTime=2021-09-15T23:02:43.513-0400,CrawlerEndTime=2021-09-16T05:53:29.745-0400,
WebFsCrawlExecTime=24626571,CrawlerStatus=true,CrawlerStartTime=2021-09-15T23:02:43.157-0400,WebFsCrawlEndTime=2021-09-16T05:53:29.744-0400,
WebFsIndexExecTime=10381327,WebFsIndexSize=20908,CrawlerExecTime=24646588,DataCrawlStartTime=2021-09-15T23:02:43.481-0400,
WebFsCrawlStartTime=2021-09-15T23:02:43.460-0400

$ curl -XGET http://localhost:9200/_cat/indices?v

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
…
green open fess.20210904 o331GW1NR6mEgJmDhUNqVg 5 0 9139 0 964.4mb 964.4m

＃ダッシュボードの画面キャプチャも添付します。

dashboard
dashboard1668×872 103 KB

Fess または Elasticsearch に何か制限などありますでしょうか。
本事象の解決方法をご教授いただけますと助かります。

3

ファイルシステムクロールの場合、ディレクトリはインデックスされませんが、１クロールにはカウントされます。

4

ご回答いただき、ありがとうございます。
返信遅くなり大変申し訳ありません。
内容について承知しました。

ご回答の観点と異なりますが、以下ElasticSearchのJavaヒープサイズを増やすことで、
全てのドキュメントがElasticSearchに登録されることを確認しました。

elasticsearch-7.8.1/config/jvm.options

Xms represents the initial size of total heap space

Xmx represents the maximum size of total heap space

-Xms6g
-Xmx6g

ご支援いただき、ありがとうございます。
今後ともどうぞよろしくお願いします。