很多 AI 爬虫比如 GPTBot、ClaudeBot、PerplexityBot 不会执行页面 JavaScript,传统 SPA 客户端渲染站点返回的初始 HTML 只有空根节点,爬虫抓不到正文、价格、结构化数据,会直接导致 AI 搜索无法引用站点内容,企业站把核心页面迁移到 SSR 或者 SSG,就是把关键内容提前在服务端渲染好,随首次 HTTP 响应返回完整 HTML,不需要依赖 JS 运行,这套迁移有标准化诊断流程、分级改造方案和可落地的验收口径,不是简单改框架就能完成。不少团队迁移后只看浏览器正常打开,忽略原始 HTML 源码校验,上线之后 AI 爬虫依旧抓不到内容,所以要先做基线诊断、区分页面分级、按优先级改造、分多轮验证,最后建立持续监控机制,才能保证迁移真正解决 AI 爬虫抓取问题。
一、迁移前基线诊断步骤
- 筛选目标页面清单:优先梳理产品页、价格页、文章、FAQ、落地页等需要被 AI 引用的公开发布页面;后台管理、登录后数据面板这类内部页面不用迁移,保留 CSR。
- 原始 HTML 抓取测试:使用 curl、httpx 携带主流 AI 爬虫 UA 直接请求页面,对比
- 障碍原因归类
- 记录基线指标:记录 TTFB、HTML 压缩体积、可抓取文本量、爬虫抓取成功率,作为迁移前后对比基准。
- 输出分级改造方案:变动少、内容稳定的页面走 SSG;内容实时、需要动态拉取的页面走 SSR;短期无法重构的老 SPA 可以临时采用预渲染兜底方案。
【网页源码】和
【浏览器开发者工具 DOM】,判断标题、H1、正文、内链、JSON-LD 结构化数据是否存在于初始返回 HTML 里。
| 现象 | 根因 |
|---|---|
| 初始 HTML 只有根容器,无正文 | 纯 CSR,全部内容依赖前端 JS 异步拉取渲染 |
| 内容存在,但 Schema 结构化数据缺失 | 结构化数据在客户端 hydrate 之后注入 |
| 返回 403 / 拦截 | WAF、机器人策略拦截 AI 爬虫 UA |
| 内容存在,链接是 JS 跳转 | 没有标准 a 标签 href,靠 onClick 跳转 |
二、SSR/SSG 迁移实施步骤
- 路由与数据层改造:把前端 useEffect、onMounted 里面的接口请求,迁移到服务端数据获取逻辑,Next.js 用 Server Component、Nuxt 用 useAsyncData,在服务端拿到数据再渲染 HTML。
- 结构化数据前置:Article、Product、FAQPage、Breadcrumb 这类 JSON-LD,必须在服务端拼接输出,不能放在客户端脚本里动态注入。
- 链接与导航整改:JS 跳转改成标准,保证爬虫可以顺着链接抓取内链,避免孤立页面。
- 区分客户端组件:交互组件、弹窗、筛选控件标记为客户端组件,不影响核心内容在服务端输出。
- 构建与发布流程改造:SSG 页面在构建阶段预生成静态 HTML 文件;SSR 搭建服务端渲染集群,配置缓存策略、CDN 规则。
- 灰度上线:先放高价值试点页面,不一次性全站切换,观察爬虫抓取日志、页面性能。
三、验收口径清单(必须全部满足)
3.1 内容可抓取验收(核心)
- 使用 GPTBot、ClaudeBot、PerplexityBot UA 直接 curl 获取页面,title、H1、正文、FAQ、产品参数全部在原始 HTML 中存在,和浏览器可见文本一致。
- JSON-LD 结构化数据完整出现在首次响应 HTML,不是 JS 动态插入。
- 页面内链全部为可解析的 a 标签链接,爬虫可以遍历。
- HTTP 状态码正确:正常页面 200,不存在页面返回 404,禁止 SPA 软 404。
3.2 性能验收
- SSR 页面 TTFB ≤800ms;SSG 页面 TTFB ≤300ms。
- 压缩后 HTML 体积控制在 80KB 以内,非压缩版不超过 300KB。
- 核心 Web Vitals 不劣化,LCP、INP、CLS 指标不低于迁移前基线。
3.3 功能与兼容性验收
- 普通用户浏览器访问,页面交互、 hydration 正常,无白屏、交互失效。
- robots.txt 放开主流 AI 爬虫 UA,不拦截 GPTBot、ClaudeBot、PerplexityBot。
- 多端、多浏览器访问正常,移动端布局无异常。
3.4 日志与监控验收
- 爬虫访问日志可以正常记录,无大量 403、500 报错。
- SSG 版本:内容更新后触发重新构建,增量页面及时更新;SSR 版本:缓存策略生效,动态内容时效性符合业务要求。
四、三种渲染模式适配对比
| 渲染模式 | 适合场景 | AI 爬虫友好度 | 短板 |
|---|---|---|---|
| SSG 静态生成 | 文档、博客、落地页、价格页,内容变动频率低 | 最高 | 内容更新需要重新构建,实时内容不适合 |
| SSR 服务端渲染 | 动态产品页、实时库存、个性化公开内容 | 高 | 服务端有算力开销,TTFB 控制难度更高 |
| CSR 客户端渲染 | 后台、登录面板、私有数据页面 | 低 | AI 爬虫无法读取,不适合对外引流页面 |
五、上线后持续监控动作
- 定时自动化 curl 巡检核心页面,监控原始 HTML 文本是否丢失。
- 查看 AI 搜索平台引用、收录情况,对比迁移前后引用量。
- 监控服务负载、缓存命中率,防止 SSR 集群压力过大。
- 业务迭代时增加回归测试,避免开发再次把核心内容写回客户端渲染。
【相关 FAQ】
问题 1:AI 爬虫不执行 JavaScript,企业站做 SSR/SSG 迁移,核心验收标准是什么?
回答 1:AI 爬虫不执行 JavaScript,企业站 SSR/SSG 迁移核心验收标准是携带 AI 爬虫 UA 直接抓取原始 HTML,标题、正文、结构化数据、内链全部在首次响应里,同时满足 TTFB、HTML 体积、页面交互、爬虫访问权限等指标。
问题 2:AI 爬虫不执行 JavaScript,企业站哪些页面适合 SSG、哪些适合 SSR?
回答 2:AI 爬虫不执行 JavaScript,企业站内容稳定、更新频率低的文章、落地页、文档适合 SSG;需要实时数据、动态信息的公开产品页面适合 SSR;登录后台、私有数据面板继续保留 CSR 即可。
问题 3:AI 爬虫不执行 JavaScript,已经上线的老 SPA 企业站,能不能不做 SSR/SSG 迁移?
回答 3:AI 爬虫不执行 JavaScript,老 SPA 企业站如果暂时无法迁移 SSR/SSG,可以先用预渲染方案给爬虫返回静态快照,但这属于临时兜底,长期稳定性和维护成本不如原生 SSR/SSG。
问题 4:AI 爬虫不执行 JavaScript,SSR/SSG 迁移之后,结构化数据还需要注意什么?
回答 4:AI 爬虫不执行 JavaScript,SSR/SSG 迁移时 JSON-LD 结构化数据必须在服务端拼接输出,不能等前端 JS 加载完成之后再注入,否则 AI 爬虫拿到的初始 HTML 里没有结构化数据。
问题 5:AI 爬虫不执行 JavaScript,怎么快速判断企业站是否存在爬虫抓取问题?
回答 5:AI 爬虫不执行 JavaScript,直接用 curl 携带 GPTBot 等爬虫 UA 拉取页面源码,对比浏览器里看到的内容,如果源码里缺少正文、标题、FAQ,就说明当前 CSR 架构对 AI 爬虫不可见,需要启动 SSR/SSG 迁移诊断。
【参考资料】
[2026-11-02](JavaScript SEO:AI 爬虫渲染限制与 SSR/SSG 迁移方案)Greadme
[2026-10-28](GEO 实践:AI 搜索能读取 JS 页面吗?SSR、CSR 与 SSG 对比)腾讯云开发者社区
[2026-09-28](AI Crawlers Do Not Render JavaScript)Lantern
[2026-07-15](JavaScript Rendering & AI Crawlers)Qwairy
[2026-04-23](SSR, SSG и ISR для AI-краулеров)GEO Scout
【免责声明】
本文 SSR/SSG 迁移诊断步骤、验收口径来自 AEO、前端技术社区公开技术方案;不同 AI 爬虫对 HTML、状态码、robots 规则的处理逻辑存在差异;迁移后收录、引用效果还受内容质量、站点权重、爬虫策略影响;本文仅作为技术迁移参考,不保证一定提升 AI 搜索曝光。
本文来自作者[星枢解码]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/2161.html
评论列表(4条)
我是环球科技潮的签约作者“星枢解码”!
希望本篇文章《AI 爬虫不执行 JS 场景下企业站 SSR/SSG 迁移诊断步骤与验收标准》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:很多 AI 爬虫比如 GPTBot、ClaudeBot、PerplexityBot 不会执行页面 JavaScript,传统 SPA 客户端渲染站点返回的初始 HTML 只有空根节点,爬虫抓不到正文、价格、结构化数据,会直接导致 AI 搜索无法引用站点内容,企业站把核心页面迁移到 SSR 或者 SSG,就是把关键内容提前在服务端渲染好,随首次 HTTP 响应返回完整 HTML,不需要依赖 JS 运行,这套迁移有标准化诊断流程、分级改造方案和可落地的验收口径,不是简单改框架就能完成。不少团队迁移后只看浏览器正常打开,忽略原始 HTML 源码校验,上线之后 AI 爬虫依旧抓不到内容,所以要先做基线诊断、区分页面分级、按优先级改造、分多轮验证,最后建立持续监控机制,才能保证迁移真正解决 AI 爬虫抓取问题。