(from osdn.net/users/enkimi)
CGIやCMSで動的に生成されるページはLastModifiedを返さないので、検索結果の更新日時が、クロールしてページを取得した時刻（？）になっていると思います。
そのようなページでも更新日時を推定して取得する方法はありますでしょうか。
例えば前回クロール時と今回クロール時でページの内容やハッシュ値を比較して更新されたかどうかを判定するなど。
よろしくお願いいたします。
(from osdn.net/users/shinsuke)
導入する環境の要件によるため、FessではWebであれば
LastModifiedでファイルシステムであればタイムスタンプを取得しています。
商用サポートでは別なヘッダー情報から取得したり、HTMLのコンテンツ内から
更新日情報を取得したりしたりとかで対応したりしてます。
(from osdn.net/users/enkimi)
お返事が遅くなりすみません。ご回答ありがとうございました。
[メッセージ #75333 への返信]
導入する環境の要件によるため、FessではWebであれば
LastModifiedでファイルシステムであればタイムスタンプを取得しています。
商用サポートでは別なヘッダー情報から取得したり、HTMLのコンテンツ内から
更新日情報を取得したりしたりとかで対応したりしてます。