https://github.com/MoonCakeTV/MoonCakeTV
在构建 月饼 TV 的过程中，我的目标是：为用户提供快速、稳定的搜索体验。但背后涉及的数据源复杂、数据量庞大，如何处理、存储和查询，是一套需要不断优化的技术工程。本文将介绍目前的技术架构和关键优化步骤。
数据来源与采集
所有数据都来自各类资源站。最初我通过手动采集，但很快转向了自动化。
采集调度：使用 Temporal 来管理 worker 流程。
执行频率：每天运行 3 次，每 8 小时一次。（这是以前的安排，现在是每天一次）
存储目标：采集下来的数据先写入 Cloudflare D1 数据库。
目前已经累计存储 114 万条信息。采集这一步过去需要 6 小时，现在优化后缩短至 5.5 小时。
搜索的痛点与演进
最初的搜索 API 很原始：
直接在 Cloudflare D1 上执行 SQL 查询。
返回结果往往需要 20 秒甚至更久，对用户体验极差。
后来我引入了 Meilisearch：
数据通过 Temporal worker 从 D1 导出，再写入到 Meilisearch 。
Meilisearch 部署在独立 VPS 上，性能显著提升。
数据处理流程（ Pipeline ）
目前的完整数据流是这样的：
数据源 ---> Temporal Worker ---> Cloudflare D1 ---> Temporal Worker ---> Meilisearch ---> Cloudflare Worker API第一阶段：从资源站获取数据，存入 D1 （ 5.5 小时）。
第二阶段：从 D1 导出数据，插入 Meilisearch （ 12.5 小时）。
调度策略：每天只跑一次。先运行采集 worker ，8 小时后再运行导入 worker ，避免冲突。
虽然性能不算出色，但每天更新一次，已经能满足需求。
搜索 API 的优化
我在 Cloudflare Worker API 里加了一些增强功能：
缓存机制：
基于 Cloudflare KV
相同关键词结果缓存 4 小时 （毕竟数据也才 24 小时更新一次）
显著减少 Meilisearch 的压力
访问控制：（四舍五入等于没有，请大家不要刷数据，服务器挂了的话，影响大家使用）
每个 IP 每分钟最多 30 次请求
无需注册
无 CORS 限制
这样一来，用户体验基本可用，同时避免了服务过载。
基础设施配置
Meilisearch VPS
32GB 内存，2TB 硬盘
单机部署，无备份
Temporal VPS
- 独立运行，调度两个 pipeline
Cloudflare Worker API
作为前端访问入口
提供统一的搜索接口
挑战与展望
目前系统仍然有一些问题：
Pipeline 慢：导入 Meilisearch 需要 12.5 小时，后续需要优化批量写入和并发。
无备份：如果 VPS 出问题，Meilisearch 数据需要重新导入，恢复时间较长。
高负载风险：请求过多时，Meilisearch 容易被打挂。毕竟我的防护约等于没有
未来我考虑：
优化 Temporal worker 的并发能力
引入分布式存储或自动备份机制
不用 cloudflare d1 ，使用自己搭建的 postgresql ，性能可以得到很大提升
加强防护，避免恶意刷请求
总结
月饼 TV 的技术架构虽然还在不断打磨，但已经走过了一条从“能跑”到“能用”的路：
Temporal 负责数据调度与可靠运行
Cloudflare D1 存储基础数据
Meilisearch 提供高效的搜索体验
Cloudflare Worker + KV 作为搜索 API 的缓存与限流层
这套体系支撑了每天百万级的数据更新与快速搜索，积累了不少经验。
大家有什么意见和建议，请不吝赐教
