(from osdn.net/users/daiki2kana)
Windows7 64bit
Fess9.1.0
Java 1.7.0_25
で使用しているものです。
クロールが途中で emptyListCount が60回を超えて終了します。
これはクロールが空周りしないようにだと思うのですが、
ドキュメントが入ってこない理由はどんなことが考えられますか？
クロールが完了していれば、普通に終了すると思います。
クロールが完了していないのでしょうか？
よろしくお願いいたします。
(from osdn.net/users/shinsuke)
クロール対象の何かのコンテンツが何も返さず
接続したままの状態になったりするとそのようになります。
fess_crawler.out のログなどにExceptionがでていないかや
最後あたりにクロールしたものなどを確認していただくのが
良いかと思います。
(from osdn.net/users/daiki2kana)
ありがとうございます。
分かりました。
では、emptyListCount の回数を変更したり、無効にすることはできますか？
(from osdn.net/users/shatake)
emptyListCountの回数の変更については
webapps\fess\WEB-INF\classes\app.diconに
下記のようにmaxEmptyListCountプロパティを設定すれば可能
かと思います。
以上、よろしくお願い致します。
(from daiki2kana's Profile - OSDN)
[メッセージ #73768 への返信]
emptyListCountの回数の変更については
webapps\fess\WEB-INF\classes\app.diconに
下記のようにmaxEmptyListCountプロパティを設定すれば可能
かと思います。
以下のように追加したのですが、以前と変わらず終了してしまいました。
書き方が悪いのでしょうか？
<include path="fess.dicon"/>
<include path="fess_suggest.dicon"/>
<include path="fess_job.dicon"/>
<include path="fess_api.dicon"/>
<include path="fess_dict.dicon"/>
<include path="s2robot_client.dicon" />
<include path="s2robot_mimetype.dicon" />
<component name="actionMessagesThrowsInterceptor" class="jp.sf.fess.interceptor.FessActionMessagesThrowsInterceptor"/>
<component name="authenticationCipher" class="org.codelibs.core.crypto.CachedCipher">
<!-- CHANGE THE FOLLOWING KEY -->
<property name="key">"1234567890123456"</property>
</component>
<component name="labelTypeHelper" class="jp.sf.fess.helper.LabelTypeHelper">
</component>
<component name="queryHelper" class="jp.sf.fess.helper.QueryHelper">
<property name="defaultFacetInfo">
<component class="jp.sf.fess.entity.FacetInfo">
<property name="minCount">1</property>
<property name="field">new String[] {"label"}</property>
<property name="query">new String[] {
"lastModified:[NOW/DAY-1DAY TO NOW]",
"lastModified:[NOW/DAY-7DAYS TO NOW]",
"lastModified:[NOW/DAY-1MONTH TO NOW]",
"lastModified:[NOW/DAY-1YEAR TO NOW]",
"contentLength:[0 TO 9999]",
"contentLength:[10000 TO 99999]",
"contentLength:[100000 TO 499999]",
"contentLength:[500000 TO 999999]",
"contentLength:[1000000 TO *]",
"filetype_s:html",
"filetype_s:word",
"filetype_s:excel",
"filetype_s:powerpoint",
"filetype_s:pdf",
"filetype_s:others"
}</property>
</component>
</property>
<initMethod name="addFieldLanguage">
<arg>"zh"</arg>
<arg>"cjk"</arg>
</initMethod>
<initMethod name="addFieldLanguage">
<arg>"zh_CN"</arg>
<arg>"cjk"</arg>
</initMethod>
<initMethod name="addFieldLanguage">
<arg>"zh_TW"</arg>
<arg>"cjk"</arg>
</initMethod>
<initMethod name="addFieldLanguage">
<arg>"ko"</arg>
<arg>"cjk"</arg>
</initMethod>
<initMethod name="setApiResponseFields">
<arg>new String[]{"id", "docId", "score", "boost",
"contentLength", "host", "site", "lastModified", "mimetype", "filetype_s",
"created", "title", "digest", "url"}</arg>
</initMethod>
<initMethod name="addHighlightField">
<arg>"title"</arg>
</initMethod>
<initMethod name="addHighlightField">
<arg>"content"</arg>
</initMethod>
<!--
<property name="additionalGeoQuery">"location_i_i:1"</property>
<property name="responseFields">new String[]{ "id", "docId", "score",
"boost", "contentLength", "host", "site", "lastModified",
"mimetype", "filetype_s", "created", TITLE_FIELD, "digest", "url",
"clickCount_l_x_dv", "favoriteCount_l_x_dv", "screenshot_s_s",
"cid_s_s", "lang_s", "hasCache_s_s" }</property>
<property name="responseDocValuesFields">new String[]{
"clickCount_l_x_dv", "favoriteCount_l_x_dv"}</property>
<property name="highlightingFields">new String[]{"digest", "cache" }</property>
<property name="searchFields">new String[]{"url", "docId", "host",
"title", "content", "contentLength", "lastModified", "mimetype", "filetype_s",
"label", "segment", "lang_s" }</property>
<property name="facetFields">new String[]{"url", "host",
"title", "content", "contentLength", "lastModified", "mimetype", "filetype_s",
"label", "segment" }</property>
<property name="sortPrefix">"sort:"</property>
<property name="supportedSortFields">new String[]{"created",
"contentLength", "lastModified", "clickCount_l_x_dv" }</property>
<property name="supportedMltFields">new String[]{"content",
"content_ja" }</property>
<property name="shards">"localhost:8983/solr,localhost:7574/solr"</property>
<property name="useBigram">true</property>
<property name="additionalQuery">""</property>
<property name="maxFilterQueriesForRole">3</property>
<property name="timeAllowed">1000</property>
<initMethod name="addRequestParameter">
<arg>"debug.explain.structured"</arg>
<arg>"true"</arg>
</initMethod>
<initMethod name="addDefaultSortField">
<arg>"score"</arg>
<arg>"desc"</arg>
</initMethod>
<initMethod name="addQueryParam">
<arg>"word"</arg>
<arg>new String[]{"$query"}</arg>
</initMethod>
-->
</component>
<component name="viewHelper" class="jp.sf.fess.helper.ViewHelper">
<initMethod name="addFacetQueryView">
<arg>
<component class="jp.sf.fess.entity.FacetQueryView">
<property name="title">"label.facet_lastModified_title"</property>
<initMethod name="addQuery">
<arg>"label.facet_lastModified_1day"</arg>
<arg>"lastModified:[NOW/DAY-1DAY TO NOW]"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_lastModified_1week"</arg>
<arg>"lastModified:[NOW/DAY-7DAYS TO NOW]"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_lastModified_1month"</arg>
<arg>"lastModified:[NOW/DAY-1MONTH TO NOW]"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_lastModified_1year"</arg>
<arg>"lastModified:[NOW/DAY-1YEAR TO NOW]"</arg>
</initMethod>
</component>
</arg>
</initMethod>
<initMethod name="addFacetQueryView">
<arg>
<component class="jp.sf.fess.entity.FacetQueryView">
<property name="title">"label.facet_contentLength_title"</property>
<initMethod name="addQuery">
<arg>"label.facet_contentLength_10k"</arg>
<arg>"contentLength:[0 TO 9999]"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_contentLength_10kto100k"</arg>
<arg>"contentLength:[10000 TO 99999]"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_contentLength_100kto500k"</arg>
<arg>"contentLength:[100000 TO 499999]"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_contentLength_500kto1m"</arg>
<arg>"contentLength:[500000 TO 999999]"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_contentLength_1m"</arg>
<arg>"contentLength:[1000000 TO *]"</arg>
</initMethod>
</component>
</arg>
</initMethod>
<initMethod name="addFacetQueryView">
<arg>
<component class="jp.sf.fess.entity.FacetQueryView">
<property name="title">"label.facet_filetype_title"</property>
<initMethod name="addQuery">
<arg>"label.facet_filetype_html"</arg>
<arg>"filetype_s:html"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_filetype_word"</arg>
<arg>"filetype_s:word"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_filetype_excel"</arg>
<arg>"filetype_s:excel"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_filetype_powerpoint"</arg>
<arg>"filetype_s:powerpoint"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_filetype_pdf"</arg>
<arg>"filetype_s:pdf"</arg>
</initMethod>
<initMethod name="addQuery">
<arg>"label.facet_filetype_others"</arg>
<arg>"filetype_s:others"</arg>
</initMethod>
</component>
</arg>
</initMethod>
<!--
<property name="encodeUrlLink">false</property>
<property name="pcDescriptionLength">200</property>
<property name="pcTitleLength">50</property>
<property name="urlLinkEncoding">"UTF-8"</property>
<property name="highlightingFields">new String[] { "hl_content", "digest" }</property>
<initMethod name="addInitFacetParam">
<arg>"facet.field"</arg>
<arg>"label"</arg>
</initMethod>
-->
</component>
<component name="userAgentHelper" class="jp.sf.fess.helper.UserAgentHelper">
</component>
<component name="webManagementHelper" class="jp.sf.fess.helper.impl.TomcatManagementHelperImpl">
<initMethod name="addSolrInstance">
<arg>
<component class="jp.sf.fess.helper.impl.TomcatManagementHelperImpl$SolrInstance">
<property name="name">"solrServer1"</property>
<property name="managerUrl">"http://localhost:8080/manager/text/"</property>
<property name="contextPath">"/solr"</property>
<property name="username">"manager"</property>
<property name="password">"manager"</property>
</component>
</arg>
</initMethod>
</component>
<component name="hotSearchWordHelper" class="jp.sf.fess.helper.HotSearchWordHelper">
<property name="excludedWordPattern">@java.util.regex.Pattern@compile(".*[a-zA-Z0-9_]+:.*")</property>
<!--
<property name="size">10</property>
-->
</component>
<component name="userInfoHelper" class="jp.sf.fess.helper.impl.CookieUserInfoHelperImpl">
<!--
<property name="cookieName">"fu"</property>
<property name="cookieDomain">""</property>
<property name="cookieMaxAge">30 * 24 * 60 * 60</property>
<property name="cookiePath">""</property>
<property name="cookieSecure">false</property>
-->
</component>
<component name="openSearchHelper" class="jp.sf.fess.helper.OpenSearchHelper">
<property name="osddPath">"/WEB-INF/orig/open-search/osdd.xml"</property>
<property name="encoding">"UTF-8"</property>
</component>
<component name="documentHelper" class="jp.sf.fess.helper.DocumentHelper">
</component>
<component name="queryResponseList" class="jp.sf.fess.util.QueryResponseList" instance="prototype">
</component>
<component name="userAgentName" class="java.lang.String">
<arg>"Mozilla/5.0 (compatible; Fess/" + @jp.sf.fess.Constants@FESS_VERSION + "; +http://fess.codelibs.org/bot.html)"</arg>
</component>
<component name="adProperties" class="java.util.Properties">
<initMethod name="put">
<arg>@javax.naming.Context@INITIAL_CONTEXT_FACTORY</arg>
<arg>"com.sun.jndi.ldap.LdapCtxFactory"</arg>
</initMethod>
<initMethod name="put">
<arg>@javax.naming.directory.DirContext@PROVIDER_URL</arg>
<arg>"ldap://[host]:[port]"</arg>
</initMethod>
<initMethod name="put">
<arg>@javax.naming.directory.DirContext@SECURITY_PRINCIPAL</arg>
<arg>"[loginId]@[domain]"</arg>
</initMethod>
<initMethod name="put">
<arg>@javax.naming.directory.DirContext@SECURITY_CREDENTIALS</arg>
<arg>"password"</arg>
</initMethod>
<initMethod name="put">
<arg>"com.sun.jndi.ldap.connect.timeout"</arg>
<arg>"10000"</arg>
</initMethod>
<initMethod name="put">
<arg>"com.sun.jndi.ldap.connect.pool"</arg>
<arg>"true"</arg>
</initMethod>
<initMethod name="put">
<arg>"com.sun.jndi.connect.pool.timeout"</arg>
<arg>"30000"</arg>
</initMethod>
<initMethod name="put">
<arg>"com.sun.jndi.connect.pool.debug"</arg>
<arg>"all"</arg>
</initMethod>
</component>
<component name="adRoleHelper" class="jp.sf.fess.helper.AdRoleHelper">
<initMethod name="setAdProperties">
<arg>adProperties</arg>
</initMethod>
</component>
<component name="indexUpdater" class="jp.sf.fess.solr.IndexUpdater" instance="prototype">
<property name="maxEmptyListCount">720</property>
</component>
(from osdn.net/users/shatake)
申し訳ございません。
変更対象のパスですが、
webapps\fess\WEB-INF\classes\app.dicon
ではなく
webapps\fess\WEB-INF\cmd\resources\app.dicon
になりますので、お手数ですがこちらに下記のように
maxEmptyListCountプロパティを設定し、再度ご検証して頂けないでしょうか。
60
<!–
5
100
以上、よろしくお願い致します。
(from osdn.net/users/daiki2kana)
[メッセージ #73825 への返信]
ありがとうございます。
機能するようになりました。
© 2020. All Rights Reserved - CodeLibs, Inc.