预训练数据 Pipeline 工程师

岗位描述

为什么加入我们 1. 你会直接参与大模型训练前最核心的数据生产链路，数据质量、吞吐和覆盖度会影响模型能力上限。 2. 这里不是传统离线数仓，而是面向预训练数据构建的大规模分布式数据基础设施。 3. 你会在真实海量数据场景中使用 Spark 等分布式计算技术，解决解析、清洗、过滤、去重、质量评估和采样的工程问题。 我们在做什么 MiniMax 正在建设面向大模型预训练的数据生产体系，支撑文本、音频、视频、多模态等数据从采集、解析、清洗、过滤、去重、质量评估到数据资产管理的完整链路 这不是普通的数据处理岗位，而是要把海量非结构化数据转化为可训练、可追踪、可评估、可持续供给的高质量预训练数据资产。…