归档: 2023/10 | aimgowin

2023

10

27

我们的前端Monorepo CI流水线已经变成了一个黑盒。一个简单的样式修改，CI运行时长可能从5分钟飙升到15分钟，没人能立刻说清是哪个环节出了问题。是pnpm install网络抖动？是Turbopack的缓存失效？还是Docker镜像

2023-10-27 DevOps

CI/CD 与 GitOps Turbopack Zipkin 可观测性 Monorepo

27

我们团队的机器学习模型迭代流程正面临一个典型的“黑盒”困境。模型在 Kubeflow Pipelines 上运行，触发机制是手动的，CI/CD 过程仅限于 CircleCI 构建一个 Docker 镜像。我们能交付模型，但我们无法回答关键问

2023-10-27 MLOps

Grafana Kubeflow CircleCI DevOps Observability DORA

27

我们面临一个棘手的状况：一个由 OpenFaaS 函数驱动的向量索引流水线，需要以高可用的方式管理 Milvus 集合的元数据和加载状态。数据批次的到达由 AWS SQS 消息触发，整个系统通过容器化部署。问题在于，流水线的控制平面——

2023-10-27 分布式系统

Paxos 算法 AWS SQS Milvus OpenFaaS 容器化

27

为机器学习模型提供毫秒级新鲜度的特征，是许多实时AI应用（如在线推荐、实时风控）成功的关键。然而，构建一个兼具高吞吐、低延迟和高可用性的实时特征管道，是一项复杂的系统工程挑战。我们需要处理源源不断的数据流，进行有状态的计算，将结果存储在低延

2023-10-27 数据工程

Ktor Apache Flink Prometheus Jotai 大数据

27

一个看似明确的需求：允许用户上传任意格式的文档（图片、扫描版PDF），系统自动提取内容、理解语义、并结构化存储。这个流程必须容忍长时间运行的AI任务、处理偶发性失败，并为前端提供近乎实时的状态更新。当技术栈横跨Python (OpenCV,

2023-10-27 架构设计

OpenCV LLM SQL Server Astro

27

为支持一个高并发推荐系统，我们面临一个典型的两难困境：模型需要两种截然不同的特征。第一种是“即时特征”，例如用户在当前会话中5秒内的点击行为、刚刚浏览的商品类别等，要求特征延迟在50毫秒以内。第二种是“历史特征”，如用户过去30天的购买力分

2023-10-27 数据工程

Axum TimescaleDB Apache Spark Java Rust Feature Store