有些页面有价值但不需要获取排名：后台管理、用户中心、筛选参数页、打印版本、分页第 N 页、重复内容变体。这些页面占用抓取配额还稀释主题，用 noindex 精准屏蔽是最正当的做法。写法是 head 中加 ，百度与 Google 都支持。私人内容注意 noindex 只是建议，想彻底隐藏还需登录验证。
noindex 与 robots.txt 的分工容易混淆：robots.txt 是在抓取阶段拦截，被拦的页面爬虫根本不读 HTML，也就看不到任何指令；noindex 是在索引阶段生效，页面照常抓取、内链权重照常传递，只是不进索引库。所以控制收录一般用 noindex，控制抓取压力才用 robots.txt。两者叠加在同一个页面上反而是浪费——正确理解两个阶段才能组合出最佳的收录策略。
<!-- 禁止收录本页，但允许抓取并传递内链权重 --> <meta name="robots" content="noindex"> <!-- 更严格：不收录也不抓取 --> <!-- <meta name="robots" content="none"> -->