(from osdn.net/users/nullsnet)
環境
Ubuntu 14.04 3.13.0-100-generic
fess 10.2.2
OpenJDK Runtime Environment (build 1.8.0_111-8u111-b14-3~14.04.1-b14)
Subversionで管理されたドキュメントを検索するために、
jenkinsでsvn checkoutしたディレクトリをfessでクロールしています。
この時、日本語を含むパスをクロールするとパスが不正になり、正しくクロールできない状況になっています。
具体的には日本語パスのURLエンコードに失敗します。
構造が以下であるディレクトリを作成し、
├── Directory1
│?? ├── fileA.pdf
│?? └── ファイルB.pdf
└── ディレクトリ2
├── fileC.pdf
└── ファイルD.pdf
これをクロールした際のfess-crawler.logの一部抜粋は以下となります。
Crawling URL: file:/var/lib/jenkins/workspace/
Crawling URL: file:/var/lib/jenkins/workspace/%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD2
Crawling URL: file:/var/lib/jenkins/workspace/Directory1/
Crawling URL: file:/var/lib/jenkins/workspace/Directory1/fileA.pdf
Crawling URL: file:/var/lib/jenkins/workspace/Directory1/%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BDB.pdf
日本語パスが「%EF%BF%BD(REPLACEMENT CHARACTER)」の繰返しになっており、正しくURLエンコードできていないように見えます。
結果として正しくクロールできていません。
なお、Ubuntu 16.04にて同一環境を構築して試行した場合、この問題は発生しませんでした。
そこで16.04と14.04の設定情報を比較したところ、
16.04は「sun.jnu.encoding=UTF-8」であるのに対し14.04では「sun.jnu.encoding=ANSI_X3.4-1968」となっていたため
fess.in.shにJAVA_OPTS="$JAVA_OPTS -Dsun.jnu.encoding=UTF-8"を追記してみましたが効果がありませんでした。
なにか回避策がありましたらご教授ください。