「全般の設定」の「障害数のしきい値」が機能しません

Japanese:Fess
1

(from osdn.net/users/makiyama-shinji)
お世話になります。
Fess10.0.3をWindows2012R2で構築しました。

「全般の設定」の「障害数のしきい値」に2を設定しているのにもかかわらず、
クロールのたびに障害URLにエラー回数が2以上のエラーが出続けるのは何故でしょうか。

ファイルにパスワードがかかっていたり、サイズが１０MB以上のファイルは、クロールしても読めないのはわかっているので、クロール時間を短縮するために毎回クロールしたくありません。

よろしくお願いいたします。

2

(from osdn.net/users/makiyama-shinji)
補足です。
もちろん「除外するエラーの種類」には何も設定しておりません。

3

(from osdn.net/users/makiyama-shinji)
関係ありそうなログが、fess-crawler.logに多数出力されておりました。
回避する方法はないでしょうか。
（というか「障害数のしきい値」の設定を仕様通りに機能させる方法）

2017-01-28 23:46:03,505 [Crawler-AVh2WZByzOFP-ALx9jDL-1-38] WARN Failed to store a failure url.
org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available: [{#transport#-1}{127.0.0.1}{localhost/127.0.0.1:9301}]
at org.elasticsearch.client.transport.TransportClientNodesService.ensureNodesAreAvailable(TransportClientNodesService.java:290) ~[elasticsearch-2.1.2.jar:2.1.2]
at org.elasticsearch.client.transport.TransportClientNodesService.execute(TransportClientNodesService.java:207) ~[elasticsearch-2.1.2.jar:2.1.2]
at org.elasticsearch.client.transport.support.TransportProxyClient.execute(TransportProxyClient.java:55) ~[elasticsearch-2.1.2.jar:2.1.2]
at org.elasticsearch.client.transport.TransportClient.doExecute(TransportClient.java:283) ~[elasticsearch-2.1.2.jar:2.1.2]
at org.elasticsearch.client.support.AbstractClient.execute(AbstractClient.java:347) ~[elasticsearch-2.1.2.jar:2.1.2]
at org.elasticsearch.action.ActionRequestBuilder.execute(ActionRequestBuilder.java:85) ~[elasticsearch-2.1.2.jar:2.1.2]
at org.elasticsearch.action.ActionRequestBuilder.execute(ActionRequestBuilder.java:59) ~[elasticsearch-2.1.2.jar:2.1.2]
at org.codelibs.fess.es.config.allcommon.EsAbstractBehavior.delegateSelectList(EsAbstractBehavior.java:131) ~[classes/:na]
at org.codelibs.fess.es.config.allcommon.EsAbstractBehavior.delegateSelectEntity(EsAbstractBehavior.java:100) ~[classes/:na]
at org.dbflute.bhv.AbstractBehaviorReadable.helpSelectEntityInternally(AbstractBehaviorReadable.java:211) ~[dbflute-runtime-1.1.1.jar:na]
at org.dbflute.bhv.AbstractBehaviorReadable.doSelectEntity(AbstractBehaviorReadable.java:188) ~[dbflute-runtime-1.1.1.jar:na]
at org.codelibs.fess.es.config.bsbhv.BsFailureUrlBhv.doSelectOptionalEntity(BsFailureUrlBhv.java:107) ~[classes/:na]
at org.codelibs.fess.es.config.bsbhv.BsFailureUrlBhv.facadeSelectEntity(BsFailureUrlBhv.java:103) ~[classes/:na]
at org.codelibs.fess.es.config.bsbhv.BsFailureUrlBhv.selectEntity(BsFailureUrlBhv.java:99) ~[classes/:na]
at org.codelibs.fess.app.service.FailureUrlService.store(FailureUrlService.java:183) ~[classes/:na]
at org.codelibs.fess.helper.CrawlerLogHelper.storeFailureUrl(CrawlerLogHelper.java:99) ~[classes/:na]
at org.codelibs.fess.helper.CrawlerLogHelper.log(CrawlerLogHelper.java:69) ~[classes/:na]
at org.codelibs.fess.crawler.CrawlerThread.log(CrawlerThread.java:110) [fess-crawler-1.0.7.jar:na]
at org.codelibs.fess.crawler.CrawlerThread.run(CrawlerThread.java:208) [fess-crawler-1.0.7.jar:na]
at java.lang.Thread.run(Unknown Source) [na:1.8.0_112]

4

(from osdn.net/users/shinsuke)
Fess 10.3.2で確認しましたが、しきい値を超えた障害URLは
クロール開始時に除外URLに加えられるので、以下のような
ログが出力されてクロール時に除外されます。

2017-02-02 16:36:40,098 [WebFsCrawler] INFO Excluded Path from failures: file:/tmp/fess-10.3.2.zip

NoNodeAvailableExceptionはElasticsearchのノードが
有効ではなくなった状態だと思います。今回とは関係ないと思います。

5

(from osdn.net/users/makiyama-shinji)
お返事ありがとうございます。
エラーメッセージと現象が関係ないとのことで了解しました。

しかし、「全般の設定」の「障害数のしきい値」に2を設定している状態で、
fess-crawler.logに「Excluded Path from failures」として載るURLは、障害URLには毎回出てこないですが、
クロールのたびに障害URLにエラー回数が2以上のエラーが出続けるURLもあります。
現状は40数回のエラーがいくつも表示されています。
そのURLはfess-crawler.logに「Excluded Path from failures」として載ってこないのですが、何が原因として考えれるでしょうか。