aimgowin
本站致力于IT相关技术的分享
2023
10
27
构建支持AI模型的实时特征管道 Ktor Flink与Prometheus的生产实践 构建支持AI模型的实时特征管道 Ktor Flink与Prometheus的生产实践
为机器学习模型提供毫秒级新鲜度的特征，是许多实时AI应用（如在线推荐、实时风控）成功的关键。然而，构建一个兼具高吞吐、低延迟和高可用性的实时特征管道，是一项复杂的系统工程挑战。我们需要处理源源不断的数据流，进行有状态的计算，将结果存储在低延
2023-10-27 数据工程
Ktor Apache Flink Prometheus Jotai 大数据
27
构建支持 MLOps 的混合数据特征存储：CockroachDB 与 Milvus 的深度集成与索引优化实践 构建支持 MLOps 的混合数据特征存储：CockroachDB 与 Milvus 的深度集成与索引优化实践
一个全球化业务的推荐系统，其在线服务对特征（Feature）获取的延迟要求是 P99 在 15ms 以内。这个技术指标本身并不新鲜，但挑战在于特征的混合性：一部分是结构化的标量特征，如用户年龄、商品价格、最近7日点击率等，要求强一致性与事务
2023-10-27 数据工程与存储
Milvus MLOps CockroachDB 索引优化 特征存储
27
27
融合 Axum 与 Spark 构建毫秒级延迟的混合式实时特征平台架构 融合 Axum 与 Spark 构建毫秒级延迟的混合式实时特征平台架构
为支持一个高并发推荐系统，我们面临一个典型的两难困境：模型需要两种截然不同的特征。第一种是“即时特征”，例如用户在当前会话中5秒内的点击行为、刚刚浏览的商品类别等，要求特征延迟在50毫秒以内。第二种是“历史特征”，如用户过去30天的购买力分
2023-10-27 数据工程
Axum TimescaleDB Apache Spark Java Rust Feature Store
27
27
2 / 5