搜索引擎如何工作
搜索引擎的工作分三步：抓取（爬虫顺着链接发现页面）、索引（解析 HTML，把内容存入数据库并理解主题）、排名（用户搜索时，按相关性与质量对几百个信号打分排序）。
理解这个流程就知道优化点在哪：抓取阶段——别挡爬虫、URL 别带参数黑洞；索引阶段——语义化标签、清晰的标题层级；排名阶段——内容质量、外链、用户体验信号。
本节要点抓取 → 索引 → 排名，三步各有优化重点；页面没被索引，一切优化都无从谈起；可用
site:域名 查询收录情况。代码
查询收录（在搜索引擎输入）：
site:example.com → 看整站收录
site:example.com/blog → 看某目录收录
让爬虫顺利工作的三个前提：
1. 页面是 200 状态码（不是 404 / 500）
2. 内容在 HTML 源码里（纯 JS 渲染的内容要留意）
3. 没有被 robots.txt 或 noindex 挡住
