让它替你盯竞品官网，有变化才来叫你

这个活烦在哪

不是”看一眼”费时间，是”要记得每天去看”这件事把人拖垮。盯 5 个竞品官网，3 个政府采购页，2 个行业新闻站——你做得到每天点开，但不到两周就开始忘，忘到第三次你就不想看了。

要准备什么

• 一份 URL 清单，附每个 URL 你想看什么（例如”只看产品页更新”、“只看新增的招标公告”）
• 一个 Agent 跑的频率（建议每天上午 9 点 + 下午 5 点，跑太多次被对方网站屏蔽的风险高）
• 一个通知方式（企业微信机器人 / 飞书 webhook / 邮件——别用短信）

一步步怎么配

1. 新建一个 watcher/config.yaml，把 URL 清单写进去。每个 URL 配三件事：抓取频率、关注区域（CSS 选择器或文本关键词）、上一次”没变化”的快照。
2. 第一版让它只对比、不通知。让它每天跑一次，把”对比结果”输出到一个日志文件，你人工看三天，确认它没误报。
3. 第二版接上通知。通知要”一句话摘要 + 链接”，不要发”某某页面更新了”这种空消息。
4. 配置”静默阈值”。同一个 URL 连续 N 天没变化，就把这个 URL 的检查频率自动降一半，3 周没变化就改每周一查。
5. 每月清理一次。网站改版后选择器会失效，写一个”页面结构变了就立刻告警”的规则。

直接能抄的指令

按 watcher/config.yaml 里的清单定时抓取每个 URL。

每个 URL 用上一次的快照对比今天抓到的内容（用 diff 文本）：

- 如果完全没变化：不通知，只更新 last_checked 时间。
- 如果有新增内容：用一句话总结"新增了什么"，附上 URL 和时间，发到企业微信机器人 webhook。
- 如果页面结构变了（HTML 大改）：单独发一条「⚠️ 结构变化」警告给我。

抓取时加上 2 秒随机延迟，user-agent 写正常的桌面浏览器，不要并发。

我踩过的坑

1. 它为什么又没跑。定时任务在系统休眠后会停。第一次遇到时我以为 Agent 坏了——其实是 Mac 休眠后 launchd 把任务挂起。解法：在 com.user.watcher.plist 里加 KeepAlive 字段，让系统醒来就重跑。
2. 被对方网站拉黑。有次一天跑 200 次，被一家竞品的 CDN 直接 ban 了我们公司 IP，整个办公室上不了他家。解法：抓取间隔 5 秒起，单 IP 日上限 200 次。
3. 假阳性爆炸。广告位和推荐位每天内容都变，diff 一片红。解法：每个 URL 配一个”忽略区”——CSS 选择器指定的区域忽略 diff。
4. “页面更新了”通知空泛。第一次接通知时只发了”某页面更新了”，点进去发现就是加了个日期。解法：让 Agent 必须先读变化区域、生成一句话摘要，没摘要不发。

长期维护

每季度把”静默”的 URL 拿出来看一次，连续一个月没变化但其实重要的，改回高频。Agent 不知道什么对你重要——这是你的判断，不要外包给它。