【LongCat大模型人才校招】基础模型 - 预训练

岗位描述

1. 探索下一代大模型训练范式，从模型结构、训练策略、数据策略、算力利用率等角度切入，打造具有更强能力和更高潜力的基座模型设计更高效的模型结构，提高给定数据量、计算量、硬件资源、序列长度等约束下的模型能力和潜力，如长序列能力、记忆能力、推理能力等。
2. 探索更科学的训练策略，对影响training dynamic的关键变量（如学习率、batchsize、初始化等）形成更科学的认知。
3. 探索更前沿的训练范式（如d…
4. 熟悉NLP、LLM、MLsys、Optimization、OR、Control、RL等相关领域，对其中一个或多个方向有深入的研究经历，且有相关实际项目经验。
5. 熟悉主流大模型…