推理优化

岗位描述

- 对视频多模态大模型（LTS、wan2.2、open-sora等）进行量化（INT8/INT4/FP8）、剪枝、蒸馏等压缩优化，在精度损失可控范围内最大化推理速度。 - 使用 TensorRT / TensorRT-LLM 进行模型编译和算子融合，针对视频场景的特殊计算图（时序注意力、3D卷积、长序列KV cache）做定制优化。 - 针对视频场景调优调度策略——视频推理请求具有输入波动大、单请求耗时长、显存… - 本科及以上学历，1年以上GPU优化或模型部署经验。 - 深入使用过 TensorRT / TensorRT-LLM，有实际模型编译、自定义算子开发和性能调优经验。 - 精通 C…