发表了主题帖： 《大语言模型：原理与工程实践》-有监督微调和强化对齐

本帖最后由 rtyu789 于 2024-9-27 00:21 编辑 # 一、有监督微调 在预训练中，通常使用大规模的无监督数据进行训练，但是这不能解决特定的任务，所以需要收集符合人类需求的有监督数据进一步微调模型 其中有监督微调的主要作用有： 1. 定制化任务适应能力 2. 提升泛化能力 3. 减少数据需求 4. 灵活性和可迁移性 对于使用有监督微调，主要的应用场景有以下类型： 1. 问答系统 2. 信息检索和推荐系统 3. 机器翻译 4. 文本生成和摘要 5. 文本分类和情感分析 # 二、指令微调方法 大语言模型中主要使用的微调方法有以下: ## 2.1 全参数微调（Full Fine-tuning，FFT） 描述：最直接的微调方法，模型中的所有参数都会被更新，会修改模型的权重 优点：充分适应新的任务 缺点：需要较多的计算资源 ## 2.2 适配器微调 描述：在前馈层和多头注意力层之间添加了适配器层，只对适配器层进行参数优化，减少计算资源需求 优点：是一种易于扩展的解决方案，通过适配器层解决全微调和灾难性遗忘的问题  ## 2.3 前缀微调（Prefix Tuning） 描述：在输入序列中添加提示作为前缀来引导模型完成特定任务 优点：只需要存储大语言模型以及已知任务特定前缀的副本，降低了计算和存储的开销  ## 2.4 提示微调（Prompt Tuning） 描述：轻量级的微调技术，仅仅修改提示词信息来提高生成质量 优点：主需要修改模型的输入，无需对整个模型进行微调，节约了时间和成本 ## 2.5 低秩微调（LoRA） 描述：在原始大语言模型的权重旁添加一个旁路镜像降维和升维的操作，只需要要对降维和升维矩阵B进行训 优点：参数量小，对算力和存储的需求小；LoRA微调会生成单独的模块，可以和其他微调方法  接下来，文章还介绍了大模型的微调和推理策略，主要有以下几种： 1. 混合微调策略 2. 基于上下文学习的推理策略 3. 基于思维连的推理策略  但在大模型的微调中，也存在一些问题，比如会产生的模型的幻觉，大模型微调的幻觉问题的解决方式主要有以下几种： 1. 数据多样性 2. 对抗训练 3. 多任务学习 4. 模型结构设计 # 三、大语言模型强化对齐 # 3.1 强化学习的基础 强化学习可以看做是智能体和环境交互学习的过程，指的是智能体在面对环境的不同状态时，能采集合理的动作进行回应，以获得最大的回报 强化学习一般分为两个阶段： 1）智能体按照策略和环境进行多次交互，形成经验，这个过程被称为**探索**，这个阶段形成的策略称为行为策略 2）智能体按照某些算法从经验中学习，优化自己的策略，这个过程称为**学习**，这个阶段形成的策略称为目标策略 强化学习中主要有两类方法： 1. DQN方法 2. 策略梯度方法 # 3.2 大语言中的强化模型 大语言中的强化模型主要有以下几类： 1. （词令级别）Token-level强化模型 2. （句子级别）Sentence-level强化建模 # 3.2 RLHF算法 主要分为以下三个步骤 1. 预训练一个语言模型  2. 聚合问答数据并训练一个奖励模型  3. 用强化学习方式微调语言模型  # 四、总结 在学习这两章内容的同时，自己也在互联网上进行了搜索，发现互联网上的确有很多扩展的资料，可能对某一方面的论述更加的充分，但是无法展现整个内容的全貌，但是从书籍中可以更加全貌的了解 # 参考资料 [大模型LLM-微调 Adapter Tuning](https://blog.csdn.net/leah126/article/details/140877949) [大模型微调实战：基于 LLaMAFactory 通过 LoRA 微调修改模型自我认知](https://www.lixueduan.com/posts/ai/05-finetune-llamafactory) [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685)

发表了主题帖： ST NUCLEO-WB09KE-开箱

# 开箱 十分感谢EEWorld和意法半导体公司对本次活动的赞助。板子非常的小巧精致，很漂亮，就是后面的引脚是暴露的，有点担心会误触导致板子出现问题。虽然只是一个小纸盒，但是也是在EEWorld论坛申请到的第一块板子，再次感谢论坛对本次活动的支持。 放上开发板的靓照:Onion-2: # NUCLEO验证平台介绍 由于是第一次使用NUCLEO开发平台，所以去对这个STM推出的开发板平台做了一些了解 这是STM32 为了帮助验证芯片功能专门推出的开发板系列，STM32 Nucleo开发板集成了STLINK调试器/编程器，无需额外的调试工具和探头，分为了NUCLE-32、NUCLE-64、NUCLE-144四个类型 可以看到本次测评的产品用红色的框框框出来了 这是本次测评板的硬件框图，可以看到测评平台支持了Arduino Uno Rev3和ST Morpho连接器，同时只要通过type-C接口连接，在供电的同时可以支持STLINK-V3的调试接口 这几张图介绍了小板和大板上的各个元器件的作用。上面的小板子和下面的大板子卡的太紧了，不敢用力掰，怕给WB09的天线掰断了，所以就只能通过这边看看反面的PCB布局了 介绍了LED灯的作用 这边提到了其他坛友提到的烧写程序时候需要将跳帽换到BOOT处，程序运行时候换到Flash处 # 开机例程示意图 参考慕容雪花坛友的教程，去官网了下载ST的蓝牙Android APP，连接开发板，运行心跳例程 下一篇测评介绍STM32CubeMX的使用以及Keil5的程序烧录[献花] # 参考资料 [STM32WB09KE](https://www.st.com.cn/zh/microcontrollers-microprocessors/stm32wb09ke.html) [STM32 Nucleo 板](https://www.st.com.cn/zh/evaluation-tools/stm32-nucleo-boards.html) [BLE sensor application for Android and iOS](https://www.st.com/en/embedded-software/stblesensor.html) [慕容雪花-【ST NUCLEO-WB09KE测评】-1-开箱](https://bbs.eeworld.com.cn/thread-1293287-1-1.html)

发表了主题帖： 《RISC-V开放架构设计之道》-开箱以及介绍RISV

本帖最后由 rtyu789 于 2024-9-22 23:53 编辑 十分感谢EEWorld和电子工业出版社提供了此次书籍阅读和分享的机会，并且十分感谢书籍上的这几位翻译者，将书籍翻译成了中文，方便了RISV-V在国内的传播。 # 一、书籍概览 最开始以为这种的十分权威，负有盛名的书籍会十分厚，会像是《深入理解计算机系统（CSAPP）》一样，是个大部头，没想到拿到手后十分的薄，翻到最后居然只有200页，十分的让我惊讶。 通过阅读前言得到，书籍这么薄是作者刻意为之，是想要比其他的优秀的指令集架构书籍 See MIPS Run 500页更加精巧，做到他的1/3。实际上据作者介绍，前10章的内容作为本书的核心部分，总共只用了136页，达到了作者想要的“书籍和RISV-V指令集一样简洁”的目的。 封面很多的坛友都已经发了，这个蒙娜丽莎象征RISV-V是一个优雅的指令集架构（Instruction Set Architecture, ISA）  书中用了大量的图片和注释来对正文内容进行补充说明，内容更加的充实和风趣了   但是美中不足的一点是，由于是本书实在是过于优秀，从献词开始到前言，在如此精简的书籍中就占去了12页(笑)。恰恰说明了从作者到译者，到推荐者，都是领域内鼎鼎有名，资历深厚的大牛，但是对于读者来说，光光看开头就已经花去了许多精力了，可能等进入正文，就兴味索然了(笑)。 # 二、作者介绍 在阅读书籍之前就有了解到，作者David Patterson就是RISV-V的作者，但是打开书籍的作者介绍页，还是被他的履历深深的震感了，于是就去增加了一些对他的了解。 他的主要成就： 1. 领导了四代精简指令集计算机（RISC）项目 2. 他和Andrew Waterman（本书另一作者）均为四位 RISC-V 架构师中的一员 3. 他与Randy Katz一起领导对廉价磁盘冗余阵列（RAID）存储的研究 4. 领导了伯克利的工作站网络 （NOW） 项目，这是计算机集群领域的早期工作 5. 2017年 ACM图灵奖 他的主要头衔： 1. 加州大学伯克利分校担任计算机科学系的教授 2. RISC-V 国际基金会董事会副主席 3. RISC-V 国际开源实验室主任 4. 伯克利计算机科学部主席 5. 曾当选计算研究协会（CRA， Computing Research Association）主席 6. 曾当选计算机协会（ACM， Association for Computing Machinery）主席 主要著作： 1. Computer Architecture: A Quantitative Approach （计算机体系结构：量化研究方法）  2. Computer Organization and Design The Hardware/Software Interface: RISC-V Edition （计算机组织与设计软硬件接口：RISC-V版）  3. The RISC-V Reader: An Open Architecture Atlas （RISC-V开放架构之道，本书） 作者写的书籍基本都是计算机领域的经典著作，对计算机体系结构有着深入的剖析。他主要在伯利克里领导了RISC的开发，RAID阵列的存储系统也是他研究发明的，并且由于RISC方面的工作获得了2017年的图灵奖。之后有机会继续拜读大佬的另外的作品。 # 三、第一章 为什么要有RISC-V ## 3.1 增量型ISA和模块化ISA 本章介绍了，传统的ISA基本上都是增量型ISA，指的是新的处理器不仅需要对原有的ISA进行扩展，还需要对过去的二进制兼容，导致之前的错误设计，都依然需要保留下来 但是RISC-V在设计的时候就考虑到了这个问题，所以他是模块化的，他的合兴是一个名为RV32I的基础ISA，并且这是冻结的，永不改变。未来根据应用的需求，再对指令集进行标准化的扩展，扩展主要如下 | 指令集扩展名称 | 扩展作用     | | ------------ | ------------ | | RV32M          | 乘法、除法   | | RV32F          | 单精度浮点   | | RV32D          | 双精度浮点   | | RV32A          | 原子指令     | | RV32C          | 压缩指令     | | RV32V          | 向量         | | RV64           | 64位地址指令 | ## 3.2 ISA设计导论 ISA设计原则： 1. 成本 2. 简洁 3. 性能 4. 架构和实现分离 5. 提升空间 6. 代码大小 7. 易于编程/编译/链接  # 参考资料 [RISC-V开放架构设计之道，开源书籍页面](http://www.riscvbook.com/) [中国开放指令生态（RISC-V）联盟](https://crva.ict.ac.cn/) [一生一芯开源项目页面，包含视频资料，课件](https://ysyx.oscc.cc/books/riscv-reader.html)

回复了主题帖： 《RISC-V 开放架构设计之道》- RISC-V开放架构设计简读

freebsder 发表于 2024-6-26 14:43 这个和arm有啥区别？除了不要钱。 指令集更加精简了，代码的执行效率可以更高，书中有详细RISC-V和x86,arm指令集的性能对比

回复了主题帖： 【ST NUCLEO-WB09KE测评】-1-开箱

慕容雪花 发表于 2024-9-20 06:56 这么看到话，开机Demo是随机的。HEAR RATE在官方提供的固件库里面是有这个Demo的。不用担心。   ... 嗷嗷，原来如此，十分感谢啦

回复了主题帖： 【ST NUCLEO-WB09KE测评】-1-开箱

想问下我也是蓝牙连接了app，但是为什么我这边没有这个心跳选项，只有控制LED灯，需要哪里调整嘛

回复了主题帖： 《大语言模型：原理与工程实践》-预训练数据构建

Jacktang 发表于 2024-9-15 08:49 Common Crawl提取的比较粗糙，有的研究人员会自己使用WARC中提取，好吧 是的呀

发表了主题帖： 《大语言模型：原理与工程实践》-预训练数据构建

# 一、预训练数据主要来源 大模型的训练需要巨大和多样的数据量，下面的表格展示了大模型中主要使用的数据类型 | 数据类型 | 常用数据来源           | | -------- | ---------------------- | | 网页数据 | CommonCrawl、C4        | | 书籍数据 | BookCorpus             | | 百科数据 | 维基百科、百度百科     | | 代码数据 | Github、GitLab         | | 其他     | 学术论文、新闻、多语言 | 具体的数据集，在常用数据集中会介绍 # 二、数据的预处理方式 收集到的广泛的非结构化文本中，有很多低质量的数据，比如垃圾邮件、乱码文字和有害内容需要对数据进行预处理以后才可以使用 主要的预处理步骤如下： 1. 正文提取——**解决不同格式的问题**    1. HTML    2. PDF    3. EPUB、MOBI    4. DOCX    5. Markdown 2. 质量过滤——**筛去低质量文本**    1. 规则过滤       1. 格式转换——比如字符编码归一化，标点符号统一       2. 篇章级过滤——比如删除过长或过短的文本       3. 行级过滤——比如删除残留的HTML标签    2. 模型过滤       1. 机器学习分类预测文本质量       2. 毒害分类器 3. 文档去重——**防止过度记忆某些高频内容**    1. 文档内去重       1. 行内去重       2. 行间去重    2. 文档间去重       1. 文档相似度计算          1. 余弦相似度          2. Jaccard相似度       2. 大规模数据，近似哈希          1. SimHash算法          2. MinHashLSH算法 4. 数据集净化——**确保数据安全和可用性**    1. 数据脱敏       1. 确保隐私安全       2. 消除偏见       3. 开源工具数据过滤Perspective API    2. 测试集分离       1. 由于大模型的规模极大，所以需要特别注意测试和训练集的分离 # 三、常用数据集 ## 英文数据集 ### 1. Common Crawl 介绍 使用python的爬虫工具，从2008年开始爬取互联网上大量的网页数据，供研究人员、开发人员和公众使用   Common Crawl主要有以下几个部分组成 | 简称 | 数据类型              | 内容                               | | ---- | --------------------- | ---------------------------------- | | WARC | Web ARChive           | 完整内容、HTTP响应头、主体HTML内容 | | WAT  | Web ARChive Transform | 从WARC中提取了元数据和链接信息     | | WET  | Web  Extracted Text   | 只包含网页的正文文本内容           |  一般使用WET训使用的较多，满足纯文本需求，并空间占用最少，但是Common Crawl提取的比较粗糙，有的研究人员会自己使用WARC中提取 ### 2. C4 数据集介绍 Google公司基于Common Crawl在2019年4月构建的开源数据集，对所有非英文文本内容进行了过滤，并进行了质量过滤 ### 3. ROOTS 数据集介绍 ROOTS项目是一个由BigScience团队训练BLOOM模型时使用的数据集，包含46种自然语言，大约1.6TB，他们团队公开了数据处理代码 ## 中文数据集 ### 1. MNBVC 超大规模中文语料集，包括一切形式的纯文本中文数据。数据均来源于互联网收集，且至2024年9月持续更新中。  ### 2. WanJuan-1.0 书生·万卷1.0为书生·万卷多模态语料库的首个开源版本，包含文本数据集、图文数据集、视频数据集三部分，数据总量超过2TB。  # 参考资料 [Common Crawl](https://commoncrawl.org/) [C4 数据集](https://paperswithcode.com/dataset/c4) [MassiveText](https://paperswithcode.com/dataset/massivetext) [falcon-refinedweb](https://huggingface.co/datasets/tiiuae/falcon-refinedweb) [ROOTS](https://huggingface.co/bigscience-data) ## 中文数据集 [MOP里屋社区](https://mnbvc.253874.net/) [整理开源的中文大语言模型](https://github.com/HqWu-HITCS/Awesome-Chinese-LLM) [MNBVC](https://githb.com/esbatmop/MNBVC) [WanJuan-1.0](https://opendatalab.com/OpenDataLab/WanJuan1_dot_0)

回复了主题帖： 【Follow me第二季第2期】+开发板硬件介绍和实现任务一 LED灯闪烁和串口打印

分享的内容很棒，学习到了 视频内容从1:03左右开始，电脑使用obs录制的时候，声音就偏小了，基本上完全听不到，持续到后面也是这样，楼主可以注意一下哈

加入了学习《【Follow me第二季第2期】+开发板硬件介绍和实现任务一 LED灯闪烁和串口打印》，观看 【Follow me第二季第2期】+开发板硬件介绍和实现任务一 LED灯闪烁和串口打印

回复了主题帖： 测评入围：ST NUCLEO-WB09KE

个人信息无误，确认可以完成测评分享计划，期待收到开发板

回复了主题帖： 共读入围：《RISC-V开放架构设计之道》 第二轮

个人信息无误，确认可以完成评测计划

回复了主题帖： 《大语言模型：原理与工程实践》-大模型基础技术

freebsder 发表于 2024-8-29 16:06 彩印价格应该要上大100了吧 书籍后面写的标价是119

回复了主题帖： 《大语言模型：原理与工程实践》-大模型基础技术

oceansky 发表于 2024-8-28 14:00 《大语言模型：原理与工程实践》-大模型基础技术  ，有没有免费下载的PDF？   这是EEWorld站内的测评活动哦，没有提供下载的电子版，这是活动页面 【《大语言模型：原理与工程实践》】测评|【《大语言模型：原理与工程实践》】免费试用_电子工程世界 (eeworld.com.cn) 需要的话可以自行购买哦

发表了主题帖： 《大语言模型：原理与工程实践》-大模型基础技术

十分感谢EEWorld和电子工业出版社提供了此次书籍阅读和分享的机会。 # 一、书籍概览 数据在对模型的展示中，用了丰富的图示，可以更方便读者进行理解  每个章节后增加了参考文献，方便读者的阅读 # 二、大模型的基础技术 平时对大模型的推理了解的较多，但是对训练大模型背后的技术了解的比较少，本章主要从四个方面介绍了大模型的基础技术 1. 自然语言的基本表示方法    1. 词表示技术       1. 词的独热表示       2. 词的分布式表示       3. 基于预训练的词嵌入式表示    2. 分词技术       1. word粒度       2. character粒度       3. subword粒度 2. 经典结构Transformer 3. Transformer预训练语言模型    1. Encoder-Only预训练语言模型——BERT    2. Decoder-Only预训练语言模型——GPT    3. Encoder-Decoder预训练语言模型——T5、BART 4. 分别对开源和闭源大模型进行介绍    1. InstructGPT    2. LLaMA 本书对2.3.4.部分的章节描述的比较详细，所以主要补充一下第一部分的内容，笔者比较感兴趣 # 三、自然语言的基本表示方法 1. 词表示技术 词的独热表示是一种最简单最直接的词的向量化表示方式。主要步骤包含两步： 1) 对需要用到的文本中所有词进行编码（假设共用N个词），每个词有唯一的下标（0~N） 2) 根据词下标 i 生成一个长度为N的向量，除了第i位为1外，其他位都为0 下面举个简单的例子进行说明： ```shell I like deep learning I like NLP I enjoy flying ``` 忽略大小写，对不同的词进行编码： ```shell word_dict = {0: 'i', 1: 'like', 2: 'deep', 3: 'learning', 4: 'NLP', 5: 'enjoy', 6: 'flying'} ``` 显然，根据不同词个数（7），我们需要构建的One-Hot向量长度为7： | 词       | 编码 | One-hot表示   | | -------- | ---- | ------------- | | i        | 0    | [1,0,0,0,0,0,0] | | like     | 1    | [0,1,0,0,0,0,0] | | deep     | 2    | [0,0,1,0,0,0,0] | | learning | 3    | [0,0,0,1,0,0,0] | | NLP      | 4    | [0,0,0,0,1,0,0] | | enjoy    | 5    | [0,0,0,0,0,1,0] | | flying   | 6    | [0,0,0,0,0,0,1] | 2. 基于预训练的词嵌入式表示 静态词向量语言模型，Word2vec，GloVe 动态词向量语言模型，ELMo，GPT，BEERT 主要介绍Word2vec，可以称为词嵌入 上面介绍的词的独热向量虽然十分的简单，但是不能准确的表达各个词语之间的相似度，所以在2013年，谷歌的科学家提出了Word2vec的方法，在词嵌入模式下，主要有两个模型跳元模型Skip-Gram和连续词袋CBOW模型 1) 跳元模型Skip-Gram 主要思想：假设一个词可以用来在文本序列中生成其周围的单词 图示： 对于如下的文本序列，给定中心词NLP ```shell I like NLP and deep learning ``` 跳元模型考虑生成上下文词I,like,and,deep,learning的条件概率 ```shell P("I","like","and","deep","learning") ``` 假设上下文词是在给定中心词的情况下独立生成的（即条件独立性）。在这种情况下，上述条件概率可以重写为 ```shell P("NLP"|"I"),P("NLP"|"like"),P("NLP"|"and"),P("NLP"|"deep"),P("NLP"|"learning") ``` 后面的公式可以参考参考资料14.1. 词嵌入（word2vec） 1) 连续词袋CBOW 主要思想：假设中心词是基于其在文本序列中的周围上下文词生成的 图示： 写的这些内容也仅仅是抛转引玉，更多的NLP内容读者可以自己加以学习，对于语言处理也是一门很深的学问，需要不断的学习 # 参考资料 [词的独热（one-hot）表示](https://blog.csdn.net/weixin_38659482/article/details/123316173) [深入浅出 one-hot](https://zhuanlan.zhihu.com/p/634296763) [如何通俗理解Word2Vec (23年修订版)](https://blog.csdn.net/v_JULY_v/article/details/102708459) [14.1. 词嵌入（word2vec）](https://zh.d2l.ai/chapter_natural-language-processing-pretraining/word2vec.html) [Distributed Representations of Words and Phrases and their Compositionality](https://arxiv.org/abs/1310.4546) [Efficient Estimation of Word Representations in Vector Space](https://arxiv.org/abs/1301.3781)

回复了主题帖： 【Follow me第二季第2期】+ 搭建环境并开启第一步Blink / 串口打印Hello EEWorld！

这到货的也太快了吧，学习学习，不知道用vscode的PlatformIO开发是否方便呢

加入了学习《全新树莓派4：它是否能替代你的pc》，观看 全新树莓派4：它是否能替代你的pc

回复了主题帖： 共读入围名单：《大语言模型：原理与工程实践》

个人信息无误，确认可以完成评测计划

加入了学习《GD32嵌入式开发入门》，观看 透彻理解嵌入式系统的概念

加入了学习《【Follow me第二季第1期】全部任务演示》，观看 全部任务演示2.0