大模型推理服务工程师

岗位描述

岗位职责: 1 基座模型商业化业务的平台开发：参与商业化统一入口的设计与研发，实现用户身份识别与优先级管理、流量染色、请求路由，以及限流降级等稳定性保障机制； 2 多协议适配与统一流量收口：参与流量收口层的研发，屏蔽内外部协议差异，统一收口全量业务流量，实现超参校验、协议转换等公共能力，支撑多业务线接入； 3 推理请求的智能路由与调度：基于流量标识实现会话亲和路由与多维度负载均衡，提升商业化请求的服务稳定性与缓… 岗位要求: 1.具备5年以上Java/Python开发经验，精通分布式系统开发与性能优化； 2.有AI应用框架或平台研发经验，熟悉大语言模型应用开发流程，了解LangChain、A…