(from osdn.net/users/noea_nora)
お世話になっております。
度々の質問ですみません。
過去ログにlastModifiedを利用したデータストアの差分クロール機能は
ないと見ましたが、パラメータ部分に記述できる最終クローラ時刻のようなものは
ありますでしょうか？
※Solrの差分データインポートで使用するdataimporter.last_index_timeのようなものを想定してます。
お手数ですが、ご教示いただけますようお願いいたします。
(from osdn.net/users/shinsuke)
スクリプト部分に
lastModified=@jp.sf.fess.taglib.FessFunctions@formatDate(new java.util.Date(@System@currentTimeMillis()))
などを記述していただければ良いかと思います。
(from osdn.net/users/noea_nora)
[メッセージ #77197 への返信]
スクリプト部分に
lastModified=@jp.sf.fess.taglib.FessFunctions@formatDate(new java.util.Date(@System@currentTimeMillis()))
などを記述していただければ良いかと思います。
ご回答ありがとうございます。
すみません、Fessのインデックス作成の仕方を理解していなかったです。
質問が変わってしまいますが
lastModifiedを使用したデータの更新比較での差分インポートはできないと過去ログで見ましたが、solrのデータインポート処理のdelta-importのようにインデックスをクリーンしないで、追記登録するような方法はないでしょうか？
当初パラメータのSQL部分にselect * from hoge where update_date > index作成日とやれば差分がとれるかと思ってましたが、元々あったデータが削除され作成されていました。
もし追記でインデックス登録する方法があればご教示願います。
(from osdn.net/users/shinsuke)
urlが同じであれば上書きし、異なれば別なドキュメントになると思います。
削除されるかは
http://fess.codelibs.org/ja/9.4/admin/crawl-guide.html#id20
の有効期限次第になります。
(from osdn.net/users/noea_nora)
削除されるかは
クロール全般の設定
の有効期限次第になります。
ご回答ありがとうございます。
有効期限を設定してみましたが、やはり削除・登録の動きでした。
1.データストアのSQLにselect * from hoge where update_date > 現在日時 - 5分を
設定し実行したところ一度目は対象の100件が登録された。
2.テーブルのupdate_date を更新し、1回目の100件とは別の100件を更新しクローラを回したところ前回の100件が削除されておりました。
3.更に対象データがヒットしない状態でクロールが動いた際にはインデックスが0件になっておりました。
期待する動きとしては1度登録したデータは保持しつつ、クロール対象データが存在する場合は追加・上書きなのですが、そのような動きはできないものでしょうか？