shape

UClone - 使用 OpenSearch 优化大规模数据检索

概述

解决对话数据增长导致的检索性能瓶颈，并提升 AI 响应质量

技术栈

  • Go

    Go

  • MySQL

    MySQL

  • PostgreSQL

    PostgreSQL

  • Redis

    Redis

  • OpenSearch

    OpenSearch

  • Docker

    Docker

  • GCP

    GCP

团队

软件工程师实习生

期间

2026.01 ~ 2026.03

详细内容

  1. 概述
    • UClone 是一个基于 LLM 的社交平台，它能生成反映用户人格特征的 AI 分身，并借此支持代办工作与社交协作。
    • 我在一家位于硅谷的初创公司远程工作，负责该服务的后端与前端开发以及云基础设施的运维。
  2. 问题背景
    • 随着对话数据的增长，原有的基于数据库的检索出现了性能瓶颈。
    • 此外，可注入 LLM 的上下文有限，导致在提升 AI 应答质量上存在瓶颈。
  3. 解决方法
    • 构建了 OpenSearch 集群，并将原有的数据库检索迁移至此，从而提升了检索响应速度。
    • 设计了对话数据的嵌入（embedding）流水线并引入向量索引，从而能够检索并注入更多上下文。
  4. 其他贡献
    • 开发了包括 Go 服务器在内的全栈（Web、App）功能，并运维了生产服务器。
    • 构建了基于 GKE 的负载均衡器，并对 LLM API 进行整合与优化，从而降低了固定成本。
    • 在与硅谷企业远程协作的过程中，体验了以每日站会为核心的敏捷开发。