- 2025-01-01
-
发表了主题帖:
大规模语言模型 从理论到实践 推荐序和前言
推荐序和前言对于一本书有提纲挚领作用,特别是对于新手学习大有裨益
#语言模型 #序言 #数学符号 #目录
本书推荐序介绍了全书脉络,以大规模语言模型构建的四个主要阶段为主线,展开对大规模语言模型的全面介绍
第一部分详细介绍大规模语言模型的理论基础知识,包括语言模型的定义、Transformer结构,以及大规模语言模型框架等内容。
第二部分主要介绍预训练的相关内容,包括在模型分布式训练中需要掌握的数据并行、流水线并行和模型并行等技术。
第三部分聚焦于大规模语言模型在指令理解阶段的主要研究内容。
第四部分重点介绍大规模语言模型的扩展应用和评价。
前言部分概述了大规模语言模型(**LLM**)发展历程和历史渊源。大规模语言模型发展历程可分为基础模型阶段、能力探索阶段、突破发展阶段,也就是当下。本书主要内容围绕大规模语言模型构建的四个主要阶段——预训练、有监督微调、奖励建模和强化学习发展展开,详细介绍各个阶段使用的算法、数据、难点及实践经验。
这本书可以给感兴趣的读者提供入门指南和学习指导,这也是我申请这本书的理由,后面的日子认真学习章节,循序渐进。
数学符号在后面大有作用
后面内容,明天再更新。
- 2024-12-13
-
回复了主题帖:
【入围名单】《大规模语言模型:从理论到实践》
个人信息无误,确认可以完成评测计划。
-
回复了主题帖:
【入围名单】《大规模语言模型:从理论到实践》
已确认信息无误
- 2024-12-09
-
回复了主题帖:
hi,小伙伴们!这里有棵测评许愿树
树莓派