(from osdn.net/users/osamu_tomi)
FESS Ver9.1.0を利用しておりますが、クロールの最大ドキュメント数の動作に関して、不明点があるため質問させてください。
ファイル検索を行うため、15万件のドキュメントをクロールしたところ、インデックス生成できたファイルは10万件となりました。
ファイルシステムクロールの設定で最大ドキュメント数を設定していなかったため、10万件のインデックス生成になったと思いますが、仕様上不明点がありますのでご教授ください。
<質問内容>
10万件の制限は、1回のファイルクロールにおけるインデックス上限値になるのでしょうか。それともシステムとして、扱えるインデックスの上限値になるのでしょうか。
パフォーマンスを度外視すれば、10万件以上のファイルもクロールすることができると思いますが、クロールの設定を行う上で検討事項とするためご確認いただければと思います。
よろしくお願いいたします。
(from osdn.net/users/shinsuke)
http://fess.codelibs.org/ja/9.1/admin/webCrawlingConfig-guide.html
にありますように、最大アクセス数を設定しなければ
1つのクロール設定のデフォルト値は10万件になります。
この値はH2をデータベースとして利用した場合に
10万件以上になるとパフォーマンスの劣化がみられるためです。
H2を利用する場合でも、10個のクロール設定等に分ければ
100万ドキュメントのクロールも可能です。
または、MySQL等を利用すれば、1つのクロール設定で
100万ドキュメント以上をクロールすることも可能です。
(from osamu_tomi's Profile - OSDN)
回答いただきありがとうございました。
不明点がクリアになりました。
[メッセージ #73511 への返信]
ウェブサイトのクロールに関する設定
にありますように、最大アクセス数を設定しなければ
1つのクロール設定のデフォルト値は10万件になります。
この値はH2をデータベースとして利用した場合に
10万件以上になるとパフォーマンスの劣化がみられるためです。
H2を利用する場合でも、10個のクロール設定等に分ければ
100万ドキュメントのクロールも可能です。
または、MySQL等を利用すれば、1つのクロール設定で
100万ドキュメント以上をクロールすることも可能です。
© 2020. All Rights Reserved - CodeLibs, Inc.