AI News Radar：用异构双引擎构建抗脆弱的情报系统

第 1 步：识别「不可调和的矛盾」，决定用异构双引擎

在架构设计初期，我先尝试了单一方案——纯 Coze 无代码覆盖全部数据源。结果撞上现实墙：

• YouTube 字幕解析：Coze 在长文本提取时频繁 Timeout
• 评论树遍历：Hacker News 的 500+ 评论线程让 Coze 节点内存溢出
• 防爬虫与 API 成本：X 官方 API 定价飙升至 $5,000/月 量级，无代码平台只能靠 Google Search 间接获取

同时，纯代码方案也不可行——纯 Python 方案开发周期长，无法快速响应「某天想加个新博主」这类需求。

结论：用两套工具各司其职，而不是强行让一种范式覆盖全部需求。

第 2 步：Engine A — 社区共识引擎（Python + FastAPI）

负责：深度与厚度 — 长文本、长字幕、评论树、跨源打分

• 基于开源项目 mvanhorn/last30days-skill 改造为 FastAPI 微服务
• 三源精简：HN / Polymarket / YouTube（字幕级）
• Render Web Service 部署，Make.com 每天 09:30 AM HTTP POST 触发
• LLM 层从 Gemini 切换到 DeepSeek（因部分地区访问 Gemini gRPC 不稳定）
• 每源独立 60 秒超时，单源故障不拖死主管线

关键代码决策

• 修复 SubQuery（frozen dataclass）的 FrozenInstanceError，改为 rebuild 而非原地修改
• 加入 LLM_PROVIDER 环境变量，一键切换 Gemini / DeepSeek / OpenAI（抗供应商锁定）
• 输出严格 JSON Array（字段与下游一致）供 Make.com Iterator 直接消费

第 3 步：Engine B — 领袖动态引擎（Coze 工作流）

负责：速度与破壁 — 领袖动态、中文媒体、RSS 快讯

五条并行采集通道

错峰调度：每天 10:42 AM 定时触发（与 Engine A 的 09:30 错开，降低集中限流风险，上午与中午各有一批新信号）。

清洗层：GPT-4o 统一格式化为与 Engine A 一致的字段结构，实现下游无感知合并。

第 4 步：中枢调度 + 统一存储 + 前端渲染

09:30 AM ──► Engine A (FastAPI) ──┐
                                  ├──► Make.com 统一入库 ──► Notion DB ──► Next.js
10:42 AM ──► Engine B (Coze) ─────┘

TimeRange 字段：24h / 周 / 月

• Make.com：中枢神经。接收双引擎 JSON Array → Iterator 拆分 → 逐条写入 Notion（URL 去重）
• Notion：Headless CMS。Title / Source / Author / URL / OriginalText / Date / TimeRange 等字段统一建模
• Next.js：个人网站前端直连 Notion API，按 TimeRange 做三级时间切片展示

端到端架构示意

09:30 AM                              10:42 AM
   |                                     |
   v                                     v
+-----------------+                  +------------------+
|  Make.com 定时   |                  |  Coze 工作流      |
|  HTTP POST 触发  |                  |  (5 节点并发)     |
+--------+--------+                  +--------+---------+
         |                                    |
         v                                    v
+-----------------+                  +------------------+
|  FastAPI 微服务  |                  | GoogleWebSearch  |
|  (Render 部署)   |                  | YouTube / RSS    |
|  |- HN 抓取      |                  |  |- X KOL 通道   |
|  |- Polymarket   |                  |  |- 模型发布通道  |
|  '- YouTube 字幕 |                  |  |- 中文媒体通道  |
+--------+--------+                  |  |- YouTube 通道 |
         |                           |  '- RSS 38氪通道 |
         +-----------+---------------+--------+---------+
                     |                        |
                     +-----------+------------+
                                 |
                                 v
                      +----------------------+
                      |  DeepSeek / GPT-4o   |
                      |  双语清洗 + 摘要      |
                      |  + 去重 + 打分        |
                      +----------+-----------+
                                 |
                                 v
                      +----------------------+
                      |  Notion Database     |
                      |  (Headless CMS)      |
                      |  + TimeRange 分级    |
                      +----------+-----------+
                                 |
                                 v
                      +----------------------+
                      |  Next.js 前端        |
                      |  (Vercel)            |
                      |  三级时间切片渲染     |
                      +----------------------+

数据流转四阶段

1. 1. 分布式采集：异构双引擎在 9:30 与 10:42 错峰唤醒，最大化降低 API 限流概率。
2. 2. 清洗与规范化：格式化为统一的 JSON Array（Title, Source, Author, URL, OriginalText, Date, TimeRange）。
3. 3. 中央调度：Make.com 拦截双引擎数据，执行去重逻辑，统一写入 Notion。
4. 4. 前端渲染：Next.js 直连 Notion API，实现全自动的「抓取-打分-发布」闭环。

第 5 步：优雅降级 + 抗脆弱设计

• 单引擎挂掉 → 另一引擎仍在供数
• YouTube yt-dlp 失败 → 自动回退到 HTTP 直抓
• DeepSeek API 限流 → 单条摘要失败不阻塞其他条目（可占位「摘要生成中」）
• Notion 写入失败 → 错误日志记录，下次重试

产品侧能力（与工程降级配套）

• 多维度时间切片：日更 / 周榜 / 月度精选，TimeRange 标签 + 前端 Tab 切换
• 零信息损失的中文化：英文原推 → 中文标题 + 约 200 字摘要 + 保留原文 URL；重要术语保留英文（GPT-5、Gemini 等）
• Headless 可复制：Notion 作为唯一源，Web / 小程序 / Newsletter 均可复用同一套 API