Cloudflare 推出的 Markdown for Agents 功能，正在从根本上改变 AI 抓取网页的方式。这项技术允许网站在服务器端直接将 HTML 内容实时转换为 Markdown 格式，从而免去了每个 AI 系统各自进行转换的繁琐过程。
其核心在于内容协商机制。当 AI 系统在 HTTP 请求头中添加 Accept: text/markdown 时，启用了该功能的 Cloudflare 网站便会直接返回 Markdown 格式的纯净内容。
为何选择 Markdown？
传统 AI 处理网页内容时，需要先下载完整的 HTML 代码，再费力地剔除导航栏、广告、脚本等无关元素。这个过程既浪费计算资源，又消耗大量 Token。
Cloudflare 的示例显示，一篇博客文章的 HTML 版本需要 16,180 个 Token，而转换为 Markdown 后仅需 3,150 个 Token，节省了约 80%。这种效率提升对于需要处理海量网页的 AI 系统而言意义重大。
开发者如何应用
为 AI 工具（如 OpenClaw）升级网页抓取逻辑非常简单：在所有 HTTP 请求中统一添加 Accept: text/markdown, text/html 请求头。支持的网站会返回 Markdown，不支持的网站则继续返回 HTML，实现了向后兼容。
具体操作包括：
* 修改所有涉及网页抓取的 HTTP 调用。
* 在响应处理中根据 Content-Type 进行分流。
* 记录 x-markdown-tokens 响应头，用于 Token 预算估算。
实施细节
Cloudflare 已在自身的开发者文档和博客上启用了此功能。开发者可通过简单的 curl 命令进行测试：curl https://blog.cloudflare.com/markdown-for-agents/ -H “Accept: text/markdown”
响应中还会包含 x-markdown-tokens 头，显示转换后的 Token 数量，便于 AI 系统进行上下文窗口计算。
现成工具：markdown.new
在 Markdown for Agents 功能推出后，开发者 Emre Elbeyoglu 迅速搭建了一个实用工具：markdown.new。该服务让任何人都能直接体验网页转 Markdown 的效果。
使用方法极为简单：在任何 URL 前加上 https://markdown.new/ 即可获得其 Markdown 版本。例如：https://markdown.new/https://example.com
三层转换机制
markdown.new 采用了智能的三层转换策略，以确保最大兼容性：
1. 优先使用 Cloudflare 原生支持：首先尝试使用 Accept: text/markdown 请求头，若目标网站已启用 Markdown for Agents，则直接获得最优转换结果。
2. Workers AI 备选：若返回的是 HTML，则通过 Cloudflare Workers AI 的 toMarkdown() 函数进行转换。
3. 浏览器渲染兜底：对于重度依赖 JavaScript 的页面，则使用 Cloudflare 的 Browser Rendering API 进行完整页面渲染后再转换。
这种设计确保了对任何网站的兼容性，而不仅限于已启用新功能的站点。实测转换速度很快，一篇文章通常在秒级内完成。
行业影响
Cloudflare Radar 已开始跟踪 AI 爬虫对内容类型的使用情况。数据显示，越来越多的 AI 系统开始请求 Markdown 格式内容，这可能预示着网页内容消费方式的根本性变革。
对于网站所有者而言，在 Cloudflare 仪表板中启用此功能是免费的。该功能目前处于 Beta 测试阶段，支持 Pro、Business 和 Enterprise 计划。
小结
网页抓取是 AI 应用开发的基础环节。Cloudflare 从拦截 AI 爬虫到主动提供标准化转换工具，标志着其对 AI 的态度从“堵”转向“疏”，也推动了 AI 内容处理管道的标准化进程。
对于构建 RAG 系统、准备训练数据、构建知识库等场景，这种标准化的转换服务显著降低了技术门槛。相较于第三方服务，Cloudflare 作为基础设施提供商亲自下场，在绕过反爬机制、利用边缘网络性能等方面具备天然优势。
关注“鲸栖”小程序，掌握最新AI资讯
本文来自网络搜集，不代表鲸林向海立场，如有侵权，联系删除。转载请注明出处：https://www.itsolotime.com/archives/21664