抓取与收录是两回事：爬虫来了但没收录，页面依然没有排名资格。抓取顺序由链接流行度与更新频率决定，新站因外链少、权重低，抓取配额有限，收录周期可能长达数周。新页面想快收录，主动提交是捷径：百度搜索资源平台submit、Google 的 URL Inspection 工具申请编入索引，配合 sitemap.xml 提交效果最好。
收录不等于有排名，收录后还需要页面质量被认可才能获得展示。用 site 命令只能粗略查看收录量，精确数字看 Search Console 的索引状态报告。对于不想被收录的页面（后台、重复内容、活动页）用 noindex 或 robots.txt 显式屏蔽，把有限的抓取配额留给有价值页面，这是大型站点必须做的配额管理。
<!-- robots.txt 允许抓取并指明 sitemap --> User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml <!-- 百度推送 API 主动提交新链接 -->