菜菜蜡笔

  • 2025-01-01
  • 发表了主题帖: 大规模语言模型 从理论到实践 推荐序和前言

    推荐序和前言对于一本书有提纲挚领作用,特别是对于新手学习大有裨益 #语言模型 #序言 #数学符号  #目录 本书推荐序介绍了全书脉络,以大规模语言模型构建的四个主要阶段为主线,展开对大规模语言模型的全面介绍 第一部分详细介绍大规模语言模型的理论基础知识,包括语言模型的定义、Transformer结构,以及大规模语言模型框架等内容。 第二部分主要介绍预训练的相关内容,包括在模型分布式训练中需要掌握的数据并行、流水线并行和模型并行等技术。 第三部分聚焦于大规模语言模型在指令理解阶段的主要研究内容。 第四部分重点介绍大规模语言模型的扩展应用和评价。 前言部分概述了大规模语言模型(**LLM**)发展历程和历史渊源。大规模语言模型发展历程可分为基础模型阶段、能力探索阶段、突破发展阶段,也就是当下。本书主要内容围绕大规模语言模型构建的四个主要阶段——预训练、有监督微调、奖励建模和强化学习发展展开,详细介绍各个阶段使用的算法、数据、难点及实践经验。 这本书可以给感兴趣的读者提供入门指南和学习指导,这也是我申请这本书的理由,后面的日子认真学习章节,循序渐进。 数学符号在后面大有作用   后面内容,明天再更新。

  • 2024-12-13
  • 回复了主题帖: 【入围名单】《大规模语言模型:从理论到实践》

    个人信息无误,确认可以完成评测计划。

  • 回复了主题帖: 【入围名单】《大规模语言模型:从理论到实践》

    已确认信息无误

  • 2024-12-09
  • 回复了主题帖: hi,小伙伴们!这里有棵测评许愿树

    树莓派

最近访客

< 1/1 >

统计信息

已有11人来访过

  • 芯积分:20
  • 好友:--
  • 主题:1
  • 回复:3

留言

你需要登录后才可以留言 登录 | 注册


现在还没有留言