Feat/support moe

[kilinchange]

引入 Megatron 风格的 MoE 基础训练路径，并提供 tiny_mixtral 端到端验证样例。打通单卡 MoE 训练流程，为后续 AllToAll EP、Grouped GEMM expert、真实 Mixtral 权重转换做基础铺垫。

Megatron Moe 模块调研：https://gxtctab8no8.feishu.cn/docx/Ry6XdG8Dro0PoSxc7NscNa4WnFf?from=from_copylink

主要修改

1. 新增 MoE 结构相关模块：

• TopKRouter 模块：logits -> score_function -> topk -> scatter，输出 dense routing_probs 和 bool routing_map，支持 top-k routing、top-k 权重归一化、scaling factor 等配置
• Experts 模块：专家计算层
  • SequentialMLP：最直接的基线实现，逐个 expert 顺序执行
• MoETokenDispatcher 模块
  • MoEAllGatherTokenDispatcher：单卡退化路径
• MoELayer 模块：组装 TopKRouter、Token Dispatcher、experts 三个模块，替换原有 dense 网络结构的 MLP 层计算

2. 新增 tiny_mixtral 示例：

• 文件结构对齐 example/llama3
• 支持从 LLMC .bin 加载权重
• 使用真实 token 数据训练
• config 尽量贴近 Mixtral 8x7B，未对齐字段保留简短注释说明

3. 测试和验证：

• 增加 MoE layer/top-k 相关架构测试
• 集成 tiny_mixtral 到测试/profile 流程
• 增加 Megatron tiny Mixtral 对齐脚本（待合入测试仓库）和日志留档，用于确认 loss 对齐

[kilinchange]

megatron 精度对比 pr：https://github.com/InfiniTensor/InfiniTrain-Test/pull/5
InfiniTrain 精度运行情况（node24 上运行得到）：
tiny_mixtral_1 (float32，小规模)

tiny_mixtral_1_bfloat16 (bfloat16，小规模)

tiny_mixtral_2 (float32，大规模)

tiny_mixtral_2_bfloat16 (bfloat16，大规模)

[kilinchange]

g3025 测试结果
精度测试：

性能测试：

[kilinchange]

合入前最终测试
精度测试结果：

性能测试结果：