fess-ds-boxを使用してBOXをクロールを行っています。
クロールの途中でメモリのエラーになってしまい、クロールが途中で終了してしまいました。
2023-11-19 06:34:05,976 [BOX_220705-1] WARN Crawling Access Exception at : {expires=Mon Dec 04 00:15:16 JST 2023, role=[], config_id=DBOX_220617, created=Sun Nov 19 00:15:16 JST 2023, segment=BOX_220705, boost=1.0, mimetype=application/datastore, virtual_host=[]}
java.lang.OutOfMemoryError: Java heap space
お伺いしたいのは以下の2点です。
①エラーの解消のためにメモリの設定を変更しようと考えています。
設定ガイドを見る限り、調整できそうなのは下記の二つかと思います。
- FESS_HEAP_SIZE
- jvm.crawler.options
クロール中のエラーのため、jvm.crawler.optionsを増やすのが適切かと考えておりますが、
FESS_HEAP_SIZEの設定を変えた場合と、 jvm.crawler.optionsの設定を変えた場合で、fessの動きとしてはどのような違いがありますか？
②上記二つの設定の動きのイメージですが、
FESS_HEAP_SIZE=2G、jvm.crawler.options=1G、クローラーを同時に5つ動かす場合、
2G+1G×5＝7Gのメモリが必要になると理解していますが、想定としてはあっていますでしょうか？