UClone - 使用 OpenSearch 优化大规模数据检索
概述
解决对话数据增长导致的检索性能瓶颈，并提升 AI 响应质量
技术栈
Go
MySQL
PostgreSQL
Redis
OpenSearch
Docker
GCP
团队
软件工程师实习生
期间
2026.01 ~ 2026.03
详细内容
概述
- UClone 是一个基于 LLM 的社交平台，它能生成反映用户人格特征的 AI 分身，并借此支持代办工作与社交协作。
- 我在一家位于硅谷的初创公司远程工作，负责该服务的后端与前端开发以及云基础设施的运维。
问题背景
- 随着对话数据的增长，原有的基于数据库的检索出现了性能瓶颈。
- 此外，可注入 LLM 的上下文有限，导致在提升 AI 应答质量上存在瓶颈。
解决方法
- 构建了 OpenSearch 集群，并将原有的数据库检索迁移至此，从而提升了检索响应速度。
- 设计了对话数据的嵌入（embedding）流水线并引入向量索引，从而能够检索并注入更多上下文。
其他贡献
- 开发了包括 Go 服务器在内的全栈（Web、App）功能，并运维了生产服务器。
- 构建了基于 GKE 的负载均衡器，并对 LLM API 进行整合与优化，从而降低了固定成本。
- 在与硅谷企业远程协作的过程中，体验了以每日站会为核心的敏捷开发。