FessでSlackの検索にERROR Failed to process a data crawling: Slack

Japanese:Fess
1

「Slackのメッセージをクロールする」の記事により、設定は完了しましたが、

クローラーを実行したときに、NullPointerException出て、
一部内容だけクロールしました。

2021-01-29 11:39:02,347 [2AtwQncBEGZyDcBMreIU-1] ERROR Failed to process a data crawling: Slack

java.lang.NullPointerException: null
at org.codelibs.fess.ds.slack.SlackClient.getMessageReplies(SlackClient.java:356) ~[fess-ds-slack-13.9.0.jar:?]
at org.codelibs.fess.ds.slack.SlackClient.getMessageReplies(SlackClient.java:338) ~[fess-ds-slack-13.9.0.jar:?]
at org.codelibs.fess.ds.slack.SlackDataStore.processMessageReplies(SlackDataStore.java:211) ~[fess-ds-slack-13.9.0.jar:?]
at org.codelibs.fess.ds.slack.SlackDataStore.lambda$processChannelMessages$1(SlackDataStore.java:189) ~[fess-ds-slack-13.9.0.jar:?]
at java.util.concurrent.ThreadPoolExecutor$CallerRunsPolicy.rejectedExecution(ThreadPoolExecutor.java:2027) ~[?:?]
at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:825) ~[?:?]
at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1355) ~[?:?]
at org.codelibs.fess.ds.slack.SlackDataStore.lambda$processChannelMessages$2(SlackDataStore.java:186) ~[fess-ds-slack-13.9.0.jar:?]
at java.util.ArrayList.forEach(ArrayList.java:1541) ~[?:?]
at org.codelibs.fess.ds.slack.SlackClient.getChannelMessages(SlackClient.java:328) ~[fess-ds-slack-13.9.0.jar:?]
at org.codelibs.fess.ds.slack.SlackClient.getChannelMessages(SlackClient.java:318) ~[fess-ds-slack-13.9.0.jar:?]
at org.codelibs.fess.ds.slack.SlackDataStore.processChannelMessages(SlackDataStore.java:185) ~[fess-ds-slack-13.9.0.jar:?]
at org.codelibs.fess.ds.slack.SlackDataStore.lambda$storeData$0(SlackDataStore.java:114) ~[fess-ds-slack-13.9.0.jar:?]
at org.codelibs.fess.ds.slack.SlackClient.getChannels(SlackClient.java:270) ~[fess-ds-slack-13.9.0.jar:?]
at org.codelibs.fess.ds.slack.SlackDataStore.storeData(SlackDataStore.java:113) ~[fess-ds-slack-13.9.0.jar:?]
at org.codelibs.fess.ds.AbstractDataStore.store(AbstractDataStore.java:111) ~[classes/:?]
at org.codelibs.fess.helper.DataIndexHelper$DataCrawlingThread.process(DataIndexHelper.java:216) [classes/:?]
at org.codelibs.fess.helper.DataIndexHelper$DataCrawlingThread.run(DataIndexHelper.java:202) [classes/:?]
2021-01-29 11:39:02,923 [2AtwQncBEGZyDcBMreIU-1] INFO Sent 9 docs (Doc:{process 313ms, send 370ms, size 22KB}, Mem:{used 152MB, heap 986MB, max 2GB})

可能な原因は何でしょうか？

2

確認してみました。NPEが発生するのは確認できてませんが、想定外のレスポンスが返ってきているようにも思います。ひとまず、NPEを回避するjarファイルをここに置いてみたので、これでログを見てみると良いと思います。

IT Search+の記事の手順で確認してみた感じですと、スコープにusers:readも入れる必要があるようにSlackが変更されたようです。

3

ご返答どうもありがとうございました。
ご提供いただいたJarファイルをダウンロートしてFessのPluginを差し替えましたが、NPEの状況は変わりありませんでした。
NPEになったLine No.も元と一致していました。

image
image1123×283 7.81 KB

また、今回は先週クロールした場所とは異なるデータのクロールでNPEが発生しました。結果だけ見ると、NPE発生個所より後のレコードだけが無事にクロールできているように見えます。
※Scopeの設定は、最初から「channels:history」「channels:read」「users:read」「users.profile:read」「team:read」の五つを設定していました。

4

ありがとうございます。そこも引っかかってしまうのですね…。
ここに更新版を置きました。
期待通りに全部クロールできないようであれば、その箇所で想定外のレスポンスが返ってきているかと思われるので、ジョブのDefalt Crawlerの設定をinfoからdebugにして、デバッグログでその箇所のSlackのレスポンスを確認していただくのが良いかと思います。

5

Jarファイルの更新ありがとうございます。

ご提供いただいたファイルで全部クロールできました。
迅速に対応いただきありがとうございました。
大変助かりました。