ファイルサーバークロール速度、処理間隔

Japanese:Fess
1

(from osdn.net/users/skomatsu)
共有フォルダクロール処理テスト評価を行っています。

以下わかれば可能情報教授いただけると助かります。

＜現状課題＞
・大量データ蓄積ファイルサーバー、クロールテスト中。
システム保管用データ1.6Tほど、ファイル＆フォルダ沢山あり
・クロール処理が終わらない、現在１週間ほど。スレッド複数に増やしても同様
フォルダがたくさんあり、階層も深く（3～5）、中間空フォルダも沢山ある。
フォルダ処理間隔が１秒ごとのため空フォルダでもスキャンできる処理数限界あり
・処理間隔：1000ms単位で指定可能。１秒だと終わらないので0にするとCPU100%。
・初回クロールだえでなく、差分クロールでも変更対象抽出となるため全フォルダ同様スキャンと推測され時間問題解決しないと想定

＜知りたいこと＞
・フォルダスキャン処理間隔：1000ms単位指定ではなく、もっと細かく指定可能な方法ありますでしょうか？
・差分スキャン（クロール範囲限定）以下もしかして可能かもしれませんが、何か使える可能性ありますでしょうか？


以下現在はない模様
FileListDataStore: インデクシング対象のファイルパスを記述してクロールする

商用版を利用するしかない？
http://www.n2sm.net/products/n2search/functions.html

大量ファイルクロール ファイルシステムの更新情報を利用した大規模向け高速インデクシングオプションを利用することで大量ファイルのクロールも可能です。

2

(from osdn.net/users/shinsuke)

・フォルダスキャン処理間隔：1000ms単位指定ではなく、もっと細かく指定可能な方法ありますでしょうか？

直接入力すれば、ミリ秒単位で指定できます。

・差分スキャン（クロール範囲限定）以下もしかして可能かもしれませんが、何か使える可能性ありますでしょうか？

数TBのディスクになると通常クロールでは対応が難しくなるので、
商用対応では要件に応じて、データストアクロールによる
差分更新などすることで対応したり、要件に合わせた対応をしています。

数TB以上を対象をする場合は、クロール以外にも様々なことがあるので、
全文検索システムのノウハウが必要になります。
この辺はFessに限った話ではないと思いますが…。

3

(from osdn.net/users/skomatsu)
ありがとうございました。

情報参考になりました。もう少し試してみます。
検索側はESクラスタ構成により分散対応できそうなので、クロール側が特に大量データ時などスケラビリティ＆パフォーマンス対応、利用課題かな？とは思ってます。