大模型推理框架工程师

岗位描述

1. 建设分布式训练推理系统，包括模型并行、长上下文、MoE、低精度训推等。
2. 搭建和优化 RL 训练系统，自研RL训练框架，包括异步 RL、Agentic RL、OPD 等。
3. 设计和开发大规模推理服务的 KV Cache 磁盘缓存、负载均衡、PD分离等策略，提升单GPU卡的推理效率。
4. 与算法团队协作，支持新模型、新算法、新Agent框架的快速落地。
5. 关注前沿大模型推理技术的预研与引入，不…
6. 有扎实的工程算法基础，精通数据结构和常用算法，熟练掌握各种编译、调试、性能分析工具。
7. 精通 Python 及 C++中至少一门语言，代码能力强，代码品味好，擅长与 Co…