クロールするファイルサイズの設定について

[discuss]

(from osdn.net/users/wakimaco)
お世話になります。

設定項目について質問させてください。

ドキュメントにも記載のあります、

「クロールするファイルサイズの設定」について質問です。

こちらで設定した「ファイルサイズ」は、

クロールするかしないかの判断基準としてのファイルサイズでしょうか。

つまり、デフォルトでhtmlファイルは2.5MBとなっておりますが、

これは2.5MB以上のhtmlファイルはクロールしない。となりますでしょうか。

それとも、全てのhtmlファイルはクロール・インデックスするが、

最大で2.5MB分のテキストをインデックスする。という動きになりますでしょうか。

画像ファイルなどファイル名だけをインデックスしたいファイルなどもあり、

後者の方の機能ができると、ありがたいと思っております。

どうぞ宜しくお願いします。

[discuss]

(from osdn.net/users/shinsuke)
ファイルサイズになります。

デフォルトの設定は、htmlを2.5M以下、その他は10M以下になっています。

ファイルサイズがその値を超えればクロールはしません。

つまり、ファイルの中身を見ません。

圧縮ファイルなどは展開すると大幅に増えるので、

最終的なテキストサイズで指定するのはメモリ的に難しいと思います。

HTML以外はファイルサイズが10Mを超えなければ処理されますが、

ファイルの種類で個別設定ができるので、image/jpeg等でinitMethod要素を

追加したりで回避していただく感じかと思います。

[discuss]

(from osdn.net/users/wakimaco)
お返事ありがとうございます。

御礼遅くなり申し訳ありません。

ファイルの中身は見ないという事了解しました。

インデックスのサイズが大きくなってきており、

画像ファイルなどは、ファイル名だけインデクシングされれば良いので、

ここのサイズ指定を小さくする事で対応できるかと考えたのですが、

そう簡単にはいかないですね、、、、。