aimgowin
本站致力于IT相关技术的分享
构建支持AI模型的实时特征管道 Ktor Flink与Prometheus的生产实践 构建支持AI模型的实时特征管道 Ktor Flink与Prometheus的生产实践
为机器学习模型提供毫秒级新鲜度的特征，是许多实时AI应用（如在线推荐、实时风控）成功的关键。然而，构建一个兼具高吞吐、低延迟和高可用性的实时特征管道，是一项复杂的系统工程挑战。我们需要处理源源不断的数据流，进行有状态的计算，将结果存储在低延
2023-10-27 数据工程
Ktor Apache Flink Prometheus Jotai 大数据
构建支持 MLOps 的混合数据特征存储：CockroachDB 与 Milvus 的深度集成与索引优化实践 构建支持 MLOps 的混合数据特征存储：CockroachDB 与 Milvus 的深度集成与索引优化实践
一个全球化业务的推荐系统，其在线服务对特征（Feature）获取的延迟要求是 P99 在 15ms 以内。这个技术指标本身并不新鲜，但挑战在于特征的混合性：一部分是结构化的标量特征，如用户年龄、商品价格、最近7日点击率等，要求强一致性与事务
2023-10-27 数据工程与存储
Milvus MLOps CockroachDB 索引优化 特征存储
构建基于 SQL Server 状态管理的跨技术栈文档智能解析管道 构建基于 SQL Server 状态管理的跨技术栈文档智能解析管道
一个看似明确的需求：允许用户上传任意格式的文档（图片、扫描版PDF），系统自动提取内容、理解语义、并结构化存储。这个流程必须容忍长时间运行的AI任务、处理偶发性失败，并为前端提供近乎实时的状态更新。当技术栈横跨Python (OpenCV,
2023-10-27 架构设计
OpenCV LLM SQL Server Astro
融合 Axum 与 Spark 构建毫秒级延迟的混合式实时特征平台架构 融合 Axum 与 Spark 构建毫秒级延迟的混合式实时特征平台架构
为支持一个高并发推荐系统，我们面临一个典型的两难困境：模型需要两种截然不同的特征。第一种是“即时特征”，例如用户在当前会话中5秒内的点击行为、刚刚浏览的商品类别等，要求特征延迟在50毫秒以内。第二种是“历史特征”，如用户过去30天的购买力分
2023-10-27 数据工程
Axum TimescaleDB Apache Spark Java Rust Feature Store
基于 Service Worker 与 Event Sourcing 构建健壮的离线优先看板架构 基于 Service Worker 与 Event Sourcing 构建健壮的离线优先看板架构
传统的离线应用状态同步，通常依赖于在 Service Worker 中缓存 API 的 GET 请求结果。这种策略在处理只读数据时表现尚可，但在处理复杂的用户写操作序列时，其脆弱性便暴露无遗。设想一个场景：用户在离线状态下创建了一张卡片，接
2023-10-27 前端架构
Kanban Service Workers Event Sourcing Svelte 离线优先
构建从 GitLab CI/CD 到 OpenFaaS 的 Dask 计算函数自动化部署管道 构建从 GitLab CI/CD 到 OpenFaaS 的 Dask 计算函数自动化部署管道
团队的数据科学家交付了一批用于金融衍生品定价的蒙特卡洛模拟脚本，核心依赖 Dask 进行并行计算。在他们的 Jupyter环境中，这些脚本表现优异。但业务需求是将这些计算能力封装成按需调用的服务接口。最初的尝试是一场灾难：手动打包充满了依赖
2023-10-27 DevOps
OpenFaaS GitLab CI/CD Dask CI/CD Serverless
2 / 5