クローラ設定の設定パラメータまたは、
扱うファイルサイズの app/WEB-INF/classes/crawler/contentlength.xml にて、
クロールするファイルサイズ上限値の指定がありますが、もしかしたら、無条件にすることは可能でしょうか？
contentlength.xmlからcontentLengthHelperのコンポーネント定義を消せば、サイズチェックがされなくなるような気もしますが、そのようなテストはしていないので、それで動作するかはわかりません。
対応案頂きありがとう御座いました。対応案やdefaultmaxlengthに-1の指定等の通り、テストしてみたところですが、ない条件にすることがうまくできない状態です。