Webクロールのクロール対象について

Webクロール対象として、以下のようなコンテンツを持つURLパス(例:https://abc.com/)を指定したとします。
・他のWebサイトへのリンクが指定パスのコンテンツに貼り付けられている(クリックすると該当サイトへ遷移する)
・wordファイルとpptxファイルがリンク形式で指定パスのページ内のコンテンツに貼り付けられている(クリックすると該当ファイルがダウンロードされる)

この場合、Webクロール設定時にURLやクロール対象のパスに「https://abc.com/」を指定するだけで、FESSの検索画面には「https://abc.com/」のみならず、上記の他のサイトやwordファイル、pptxファイルのリンクも検索結果に表示されるという認識で合っていますでしょうか。認識が間違っている場合、上記のクロールを実現するためにはどのようなクロール設定(設定パラメータ等)が必要でしょうか。

Playwrightを使ったWebクロールの検証を行なっておりますが、Fess公式のplaywrightテストページなどでは他ファイルのクロールもされていますが、一部サイトでは指定URLパスのみしかクロール結果に表示されず困っております。クロール対象パスの末尾に「.*」を付けてもダメでした。

初歩的な内容で大変恐縮ですが、前提確認のためご質問させていただきます。ご教授よろしくお願いいたします。

ページ内に存在するリンクを辿っていくので、それらはクロール対象になると思います。動的に生成されているコンテンツだと、そのときにどのような内容になっているのか次第だと思います。問題が再現する環境があるなら時間があるときに見てみますが、デバッグログとかにして、リンクが存在しているのか?などを見ると良いと思います。