robots.txt

クローラーへの指示に FTP は不要です。

robots.txt は、クローラーにどこを見てよいか、どこを見てはいけないかを伝えます。その内容はサーバー上のファイルに触れることなく、管理画面で書けます。サイトマップへの参照は自動的に追記されます。