【LongCat实习】大模型预训练数据科学与模型潜力前沿研究

岗位描述

本课题聚焦于超大规模预训练数据的深度理解、提纯与价值挖掘，建立数据与模型能力之间的因果联系，打造下一代万亿基座模型的高效数据引擎，致力于提升基座模型的智能上限。研究内容包括但不限于： 1.研发基于模型的高效数据质量评估、去重与清洗算法，提高数据质量、多样性和覆盖度。 2.深入探究数据分布与模型能力的因果关系，建立“训练数据-模型效果”归因机制，探索并突破基座模型的能力上限。 3.探索自动化数据筛选机制、动态配比… 1.硕士及以上学历，计算机、人工智能、数学、NLP等相关专业，博士优先； 2.在大模型领域有研究基础，或参与过有影响力的开源项目，在ICLR/NeurIPS/ICML/ACL等顶会…