Webhookを使用し、masterブランチに変更があった際に対象のGitデータストアのクロールを実行しようとしています。
クロールの実行タイミングが不定期のため、全般設定の「以前のドキュメントを削除」の設定は「-1」としています。
そのため、Gitデータストアのクロール実行時に前回のクロール実行時の履歴を削除したいと考えています。
何か方法があれば、ご教授をお願いいたします。
データストアはデフォルトで、DataIndexHelperのこの条件で古いドキュメントは削除されます。なので、スクリプトでexpiresをクロール時刻とかにして、ドキュメントをバージするジョブを止めておけば良さそうな気もします。
ご回答ありがとうございます。
上記の回答についてですが、Gitデータストアのスクリプト設定で1世代前のクロール時刻を設定するということでしょうか。
Gitデータストアのスクリプト設定にて、「expires」を下記のパターンで設定を行いました。
現状下記の設定方法では、前回クロール時のインデックス情報を削除することができておりません。
なにかご回答いただいた設定方法と認識齟齬等ありますでしょうか。
お手数ですが、ご確認をお願いいたします。
【設定内容①】
expires=“前回実施のクロール情報の時刻(終了時間、開始時間等)”
【設定内容②】
expires=“実行した最新のクロールより、未来の時間”
「expires」は下記で設定しています。
expires="[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9]T[0-9][0-9]:[0-9][0-9]:[0-9][0-9]"
また、追加で質問となるのですが、Gitデータストアの設定変更に合わせ、全般設定の「以前のドキュメントを削除」の設定を「-1」にしたことで、ファイルシステムのインデックスが削除されない設定となりました。
ファイルシステムの設定のみデフォルトの値である3日でインデックス情報を削除することはできますでしょうか。
ファイルシステムは毎日定時にクローラジョブを実行しているので3日前のドキュメントを削除できれば問題ないです。
expiresを設定しても変わらないのだと、DataIndexHelperでの削除する条件で何かが満たされていないのだと思います。現状の情報では何とも言えないので、デバッグログとかを見るなどして調べていただくとかしかない気もします。
「以前のドキュメントを削除」を設定すると、インデックスされているドキュメントに対しての条件になるので、個別の制御はできません。