我的网站分析数据大部分是假的：AI 爬虫流量已占全网一半以上

原文来源：Indie Hackers — I Just Discovered My Analytics Numbers Are Mostly Fake — 一位独立开发者发现，自己网站的 GA4 数据被 AI 爬虫严重污染，自动化流量首次超过人类流量，占全网一半以上。

上周，一位叫 Angel Cee 的独立开发者在 Indie Hackers 上分享了一个让他震惊的发现：他盯着 Google Analytics 仪表盘，同时看着服务器 CPU 监控——GA4 告诉他今天是流量平平的一天，但服务器已经在 90% CPU 占用率下尖叫，数据库濒临崩溃。

他一开始以为只是 GA 延迟报告流量高峰，SSH 进服务器翻 Nginx 访问日志后，真相让他彻底改变了对现代互联网的看法。

流量不是人，是机器

日志里的流量不是人类。那是一堵由自动化爬虫、无头浏览器和激进 AI Agent 组成的墙，正在穷尽式地访问他应用的每一个端点，对比数据、抓取内容。

他翻查近期的网络安全报告，数据触目惊心：十年来第一次，自动化机器流量超过了人类流量，现在占所有网络活动的 50% 以上。 更令人警惕的是 agentic AI 的崛起——代表用户执行多步骤工作流的机器人流量正在暴涨。

这个发现的本质是：互联网已经从以人类为主导的生态系统，转向以机器为主导的基础设施。标准 Web 架构、营销分析和网络安全防御，全部建立在一个前提上——绝大多数请求来自真人浏览器。这个前提，正式死了。

—— 广告 ——

问题不只是机器人存在，而是机器人的行为模式发生了剧烈变化：从被动阅读变成了主动、消耗资源的互动。

人类购物时可能看三四个页面就走；AI Agent 执行研究或购物任务时不会"差不多就行"，它会穷尽式对比数据。同一个任务，AI Agent 访问的页面数量是人类的千倍。

这对服务器的冲击是毁灭性的：CPU、数据库查询、带宽成本全部被机器消耗。用作者的话说——"我付钱买服务器资源，是为了服务永远不会买我产品的机器。"

更糟糕的是，他的分析数据被彻底污染了。当恶意机器人模仿人类行为时，传统分析工具就失去了意义。如果数据集里一半流量是自动化脚本，转化率、日活、广告 ROI 这些数字基本都是虚构的。

Google Analytics 依赖客户端 JavaScript，这意味着：

他一直在根据被机器人注水的页面浏览量做产品和内容决策。GA 里他的"热门页面"，不过是 AI 爬虫当天恰好抓取的端点而已。

他知道答案在服务器访问日志里——服务器日志不会被浏览器拦截，是访问 Web 应用的绝对真相。

但解析原始日志是个噩梦。一条原始访问日志产生几千行没有上下文的文本，看 IP 和请求字符串只能知道"发生了请求"，却无法知道是谁或什么发起的。他只能自己写复杂的正则、手动查 IP 段，完全孤立无援——等发现恶意爬虫浪潮时，它已经打爆了服务器。

而且本地日志永远是事后反应：爬虫攻击网站 A 时，网站 B 毫无办法提前知道。用本地文本文件做全网预测性防御，根本不可能。

作者提出了一个清晰的分类框架，把服务器请求分成三类：

这个思维模型对独立开发者很有价值：与其盯着被污染的 GA 数字，不如回到服务器日志这个"不可屏蔽的真相"层面，区分"谁在访问"。

评论区里有人提出了更深入的问题：如何区分"替人类做研究的合法 AI Agent"（应该放行，未来可能成为真实发现渠道）和"做竞品情报的爬虫"（应该拦截）？这个区分才是技术难点，而不是日志解析本身。

这篇分享对做独立站的开发者有几点实际启发：

第一，别把 GA 数字当回事。 如果你的产品决策依赖转化率、DAU 这些指标，先检查服务器日志确认流量构成。机器人注水的数字会让你优化错误的方向——比如你以为用户喜欢某页面，其实只是爬虫在抓它。

第二，AI 爬虫正在成为真实的服务器成本。 一个 Agent 访问千倍页面不是夸张，是字面意思。如果你的服务器在无端高负载，先排查爬虫，再怀疑用户增长。

第三，"生成式引擎优化"是新的获客渠道。 当越来越多人通过 AI Agent 做研究时，被模型索引本身就是一种流量来源。理解自己的网站在被谁抓取、抓了什么，可能比传统 SEO 更早地带来用户。

第四，防御要从"反应式"转向"共享式"。 单靠自己的日志永远是被动挨打。Cloudflare、Nginx 层的规则共享、IP 黑名单协同，才能让攻击者在打到你之前就被拦截。

互联网的"人类主导"时代已经结束了。对独立开发者来说，认清这个现实——流量结构变了、分析工具失灵了、成本结构变了——是 2026 年做线上生意的必修课。