归档: 2023/10 | aimgowin

2023

10

27

我们团队的机器学习模型迭代流程正面临一个典型的“黑盒”困境。模型在 Kubeflow Pipelines 上运行，触发机制是手动的，CI/CD 过程仅限于 CircleCI 构建一个 Docker 镜像。我们能交付模型，但我们无法回答关键问

2023-10-27 MLOps

Grafana Kubeflow CircleCI DevOps Observability DORA

27

我们的前端Monorepo CI流水线已经变成了一个黑盒。一个简单的样式修改，CI运行时长可能从5分钟飙升到15分钟，没人能立刻说清是哪个环节出了问题。是pnpm install网络抖动？是Turbopack的缓存失效？还是Docker镜像

2023-10-27 DevOps

CI/CD 与 GitOps Turbopack Zipkin 可观测性 Monorepo

27

为机器学习模型提供毫秒级新鲜度的特征，是许多实时AI应用（如在线推荐、实时风控）成功的关键。然而，构建一个兼具高吞吐、低延迟和高可用性的实时特征管道，是一项复杂的系统工程挑战。我们需要处理源源不断的数据流，进行有状态的计算，将结果存储在低延

2023-10-27 数据工程

Ktor Apache Flink Prometheus Jotai 大数据

27

业务场景通常比我们理想中的技术栈要复杂得多。一个看似简单的下单操作，可能横跨多个异构服务：一个面向用户的API层由PHP构建，一个核心的库存服务由Java和JPA/Hibernate实现，还有一个独立的优惠券服务。当用户请求创建一个包含多件

2023-10-27 分布式系统

状态管理 PHP JPA/Hibernate Two-Phase Commit Elixir

27

一个看似明确的需求：允许用户上传任意格式的文档（图片、扫描版PDF），系统自动提取内容、理解语义、并结构化存储。这个流程必须容忍长时间运行的AI任务、处理偶发性失败，并为前端提供近乎实时的状态更新。当技术栈横跨Python (OpenCV,

2023-10-27 架构设计

OpenCV LLM SQL Server Astro

27

一个全球化业务的推荐系统，其在线服务对特征（Feature）获取的延迟要求是 P99 在 15ms 以内。这个技术指标本身并不新鲜，但挑战在于特征的混合性：一部分是结构化的标量特征，如用户年龄、商品价格、最近7日点击率等，要求强一致性与事务

2023-10-27 数据工程与存储

MLOps CockroachDB Milvus 索引优化特征存储