使用robots.

txt文件限制爬行使用robots元标签和X-Robots-tag robots noindex元标签X-Robots-tag特殊情况.