robots.txt 是爬虫访问网站的第一站：可抓、不可抓、抓取频率建议都在这里声明。常见用途包括屏蔽后台、登录页、无 SEO 价值的接口、重复参数页面，以及通过 Crawl-delay 控制爬虫频率防止服务器被拖垮（Google 已不再支持该指令，用 Search Console 的抓取速率设置替代）。星号 User-agent 表示对所有爬虫生效。
robots.txt 是声明而非强制，恶意爬虫不会遵守，所以敏感内容不要指望它保护。注意一个易错点：被 Disallow 的页面如果被其他网站外链指向仍可能被收录并展示，要彻底不收录应叠加 noindex 标签。robots.txt 位置必须在根目录且 HTTP 200 可访问，写错了（比如误屏蔽全站）会导致整站收录崩塌，上线前务必用 Search Console 的 robots.txt 测试工具验证。
User-agent: * Disallow: /admin/ Disallow: /*?from= Sitemap: https://example.com/sitemap.xml