aimgowin
本站致力于IT相关技术的分享
  文章分类
MLOps 1 分布式系统 2 DevOps 2 数据工程 4 架构设计 6 后端架构 6 前端架构 1 DevSecOps 2 可观测性 1 网络安全 1 数据工程与DevOps 1 数据工程与存储 1 云原生 1 全栈架构 1
以 MongoDB 聚合框架构建服务于 MLOps 的分布式特征工程流水线 以 MongoDB 聚合框架构建服务于 MLOps 的分布式特征工程流水线
一个失控的特征工程环境，是我们团队在项目初期面临的第一个技术难题。数十个Jupyter Notebook散落在不同工程师的机器上，每个Notebook都连接生产MongoDB，执行一些复杂的聚合查询，生成一组特征，然后手动导出CSV喂给模型
2023-10-27 数据工程
MongoDB MLOps MapReduce
使用 Ansible 自动化部署基于 ClickHouse 的工程效能搜索与分析平台 使用 Ansible 自动化部署基于 ClickHouse 的工程效能搜索与分析平台
团队扩张后，Code Review 流程的效率瓶颈开始显现。Pull Request (PR) 的平均合并时间不断拉长，但我们缺乏数据来定位具体问题：是某些模块的 리뷰가 너무 늦어서인가요? 是某些资深工程师成为了评审瓶颈？还是 CI 流
2023-10-27 数据工程
Code Review ClickHouse Ansible 容器编排 搜索
融合 Axum 与 Spark 构建毫秒级延迟的混合式实时特征平台架构 融合 Axum 与 Spark 构建毫秒级延迟的混合式实时特征平台架构
为支持一个高并发推荐系统，我们面临一个典型的两难困境：模型需要两种截然不同的特征。第一种是“即时特征”，例如用户在当前会话中5秒内的点击行为、刚刚浏览的商品类别等，要求特征延迟在50毫秒以内。第二种是“历史特征”，如用户过去30天的购买力分
2023-10-27 数据工程
Axum TimescaleDB Apache Spark Java Rust Feature Store
构建支持AI模型的实时特征管道 Ktor Flink与Prometheus的生产实践 构建支持AI模型的实时特征管道 Ktor Flink与Prometheus的生产实践
为机器学习模型提供毫秒级新鲜度的特征，是许多实时AI应用（如在线推荐、实时风控）成功的关键。然而，构建一个兼具高吞吐、低延迟和高可用性的实时特征管道，是一项复杂的系统工程挑战。我们需要处理源源不断的数据流，进行有状态的计算，将结果存储在低延
2023-10-27 数据工程
Ktor Apache Flink Prometheus Jotai 大数据