Gitlabのdevelopブランチに変更があったタイミングでクローラジョブを実行したい

Japanese:Fess
1

現在、FESSでGitlabのソースコード検索を実施しております。
Gitlabの全プロジェクト中の半分ほどのプロジェクトの設定が完了したタイミングでDefault Crawlerをした際、完了まで5時間程かかりました。
残りの全プロジェクトの設定を行うとDefault Crawlerの完了に約10時間程かかる見込みとなります。
そこで、質問させていただきたいのですが、Gitlabのソースコード検索について、featureブランチからdevelopブランチにマージリクエストが実施された場合など、developブランチのソースコードに変化が生じたタイミングでのみクローラジョブを実行することは可能でしょうか。

また、上記が不可能な場合、ジョブクローラの実行時間を短くする方法などがあれば教えていただきたいです。
お手数ですが、ご確認をお願いいたします。

2

ただのウェブサイトのクロールだと思うので、ページ数が多ければ、その分の時間はかかるとは思います。Fessとしては、GitLab向けに何か提供しているわけではないので、必要であれば、fess-ds-gitなどを参考にして、データストアを利用したり、作ったりするのが良いと思います。

3

ご回答ありがとうございます。

追加で質問させていただきたいのですが、ジョブスケジューラの実行時間を短縮する、FESSのパフォーマンス向上に関わる設定などがあれば教えていただきたいです。
例))cpuやメモリの値を増やす。

現状FESSを構築している環境はcpu4コア、メモリ8GBとなっております。

その他にもFESSの全般設定などでパフォーマンスの向上につながる設定等あれば教えていただきたいです。

4

フリーアンサーみたいな感じだと、いろいろとあるので、何とも言えませんが、fess-crawler.logやfess-urls.logなどを見て、時間がかかっているものを確認して、減らすとかが良いと思います。必要に応じて、デバッグログにして、fess-crawler.logを見るとかも良いと思います。