Honghuzaitian

  • 2024-11-15
  • 发表了主题帖: 《深度学习》实操——利用机器学习进行回归分析

    在进行深度学习一书阅读的过程中根据实例进行了关于线性回归分析的学习。其中在网络上有一项练习是预测燃油效率。其最终使用机器学习达成的目标是根据各种输入特征预测车辆的燃油效率。燃油效率通常以每加仑英里数(MPG)或每100公里升数(L/100km)来衡量,是消费者和环境关注的一个关键因素。准确预测燃油效率有助于汽车制造商设计更环保的汽车,并帮助消费者对油耗做出明智的选择。 其输入和输出本别为: 车辆特征: 分类特征:品牌、型号、燃料类型(汽油、柴油、电动、混合动力等)。). 数字特征:发动机排量、马力、重量、加速度、气缸数等。 时间特征(可能):制造年份,因为旧汽车可能有不同的效率标准。 可选功能:空气动力学特性、轮胎类型、变速器类型(手动、自动)。 输出: 燃油效率:输出变量是连续的,代表车辆在特定条件下可以达到的每加仑英里数(MPG)或每100公里升数(L/100km)。 数据集结构为: 该问题的数据集将以表格形式构建,其中每行代表一辆特定的车辆,列代表各种特征和目标变量: 产地和型号名称:车辆的品牌或制造商(分类)。 车型年:车辆制造的年份(时间,数字)。 发动机排量:车辆发动机的大小,单位为升(数值)。 马力:车辆发动机的马力(数值)。 重量:车辆的重量,单位为磅或千克(数值)。 加速度:车辆从0加速到60英里/小时所用的时间,以秒为单位(数值)。 气缸数:车辆发动机中的总气缸数(数字)。 标变量: 燃油效率:车辆达到的每加仑英里数(MPG)或每100公里升数(L/100km)(数值)。 方法和模型选择: 线性回归: 线性回归是用于预测建模的基本且广泛使用的统计技术。它假设输入要素和目标变量之间存在线性关系。在预测燃油效率的背景下,线性回归是一个合理的选择,因为它允许我们以一种直接的方式探索各种车辆特征和燃油效率之间的关系。线性回归计算效率高,可解释,并为理解数据提供了一个良好的起点。 均方误差(MSE)作为评估指标: 均方差是一种常用的度量标准,用于测量回归问题中预测值和实际值之间的平均平方差。在燃料效率预测的情况下: 为什么线性回归和MSE适合这个问题: 线性关系假设: 线性回归假设输入要素和目标变量之间存在线性关系。就燃油效率而言,许多因素,如发动机尺寸、重量和马力,都可能呈现线性关系。线性回归允许我们有效地捕捉这些关系。 可解释性: 线性回归为每个特征提供了可解释的系数,这有助于理解单个特征对燃料效率的影响。这种可解释性对研究人员和消费者都很有价值,因为它提供了对哪些车辆特性对燃油效率影响最大的见解。 MSE衡量预测准确性: MSE是一个相关的度量,因为它对较大的错误惩罚更重。在燃油效率方面,准确的预测至关重要。MSE确保模型对于与实际燃料效率值的较大偏差受到更多惩罚,与准确燃料效率预测的实际重要性一致。 简单性和性能: 线性回归易于实现,并可用作基线模型。尽管它很简单,但当特征和燃料效率之间的关系近似为线性时,它可以表现得很好。它还提供了一个比较复杂模型的基准。 项目中使用的不同Python库: Pandas:该库有助于将数据框加载到2D数组格式中,并提供各种功能来在一次操作中高效地执行多项分析任务。 Matplotlib:该库用于创建数据的可视化表示和图形可视化。 Sklearn–该模块包含几个配有预实现功能的库,支持从数据预处理到模型开发和评估的各种任务。 收集和探索数据: 资料组:收集包含马力、重量、气缸等特征的数据集。,以及相应的燃料效率值。 这资料组可以从这里下载:https://archive.ics.uci.edu/dataset/9/auto+mpg import pandas as pd columns = ["mpg","cylinders","displacement","horsepower","weight","acceleration","model year","origin","car name"] cars = pd.read_table("auto-mpg.data", delim_whitespace=True,names=columns) print(cars.head(5)) 探索性数据分析: 将汽车重量和加速度与燃油效率联系起来。 from matplotlib import pyplot as plt fig = plt.figure() ax1 = fig.add_subplot(2,1,1) ax2 = fig.add_subplot(2,1,2) cars.plot('weight','mpg',kind='scatter',ax=ax1) cars.plot('acceleration','mpg',kind='scatter',ax=ax2) plt.show() 上面的散点图显示了体重和mpg之间强烈的负线性关系以及加速度和mpg之间微弱的正关系。 拟合回归模型: 当然,让我们使用scikit-learn的线性回归来量化体重和mpg之间的关系。 from sklearn.linear_model import LinearRegression lr = LinearRegression() lr.fit(cars[["weight"]].values, cars["mpg"]) 做出预测: 一旦用提供的数据训练了模型,就可以利用它进行预测。 虽然在用于机器学习训练的相同数据集上进行预测不是标准做法,但这样做对于评估模型在准确捕获数据方面的有效性是有价值的。 predictions=lr.predict(cars[["weight"]]) 绘制模型: 我们准备将每辆车的实际燃油效率值与预测燃油效率一起可视化,以获得对模型性能的直观了解。 plt.scatter(cars['weight'],cars['mpg'],c="red") plt.scatter(cars['weight'],predictions,c='blue') plt.show() 误差度量: 为了获得对模型准确性的更精确的定量评估,我们必须计算其误差。 为此,我们将使用scikit-learn库中的均方误差函数。 from sklearn.metrics import mean_squared_error as mean_sq_err mse=mean_sq_err(cars['mpg'],predictions) print("Mean Squared Error =",mse) rmse = mse ** 0.5 print("Root Mean Squared Error = ", rmse) 数据清理: 与重量列相反,马力列包含表示为“?”的缺失值。为了准备建模数据,我们将排除缺少这些值的行。 filtered_cars = cars[cars["horsepower"] != '?'] filtered_cars['horsepower'] = filtered_cars['horsepower'].astype('float') 数据探索: 清理数据后,我们可以绘制马力和mpg之间的相关性。 plt.scatter(cars['weight'],cars['mpg'],c="red") plt.scatter(cars['weight'],predictions,c='blue') plt.show() 拟合模型: 很难量化mpg和其他属性之间的关系。 lr = LinearRegression() lr.fit(filtered_cars[['horsepower']],filtered_cars[['mpg']]) predictions = lr.predict(filtered_cars[['horsepower']]) 绘制预测图: 让我们绘制预测值与实际值的对比图。 plt.scatter(filtered_cars['horsepower'],predictions,c='blue') plt.scatter(filtered_cars['horsepower'],filtered_cars['mpg'],c='red') plt.show() 误差度量: 这就是我们如何计算模型预测的误差。 mse = mean_sq_err(predictions, filtered_cars['mpg']) rmse = mse ** 0.5 print("Mean Square Error =",mse) print("Root Mean Square Error =",rmse) 结论: 在分析了马力和重量的MSE和RMSE值后,很明显,与马力相比,重量与mpg的相关性更强。 因此,如果我们只需要为我们的模型选择一个输入,权重无疑应该是首选。

  • 2024-10-14
  • 发表了主题帖: 《深度学习》中图像识别相关知识的学习分享

    在《深度学习》的第6章介绍了图像卷积相关的知识,对于专业的算法部分印象比较深的是互相关运算和卷积运算。其中互相关运算是一种衡量两个函数相似度的度量,它通过滑动一个函数(称为核或滤波器)与另一个函数(如图像)进行比较,计算匹配程度。卷积与相关运算类似,但在核的应用上有所不同。在卷积运算中,核首先被翻转(180度旋转),然后再应用到图像上。图像识别最常见的是用来做边缘检测,专业内容在这里不进行叙述,我查阅了其他的一些资料,了解了边缘检测在实际中的应用场景,目前最常见也是最热门的便是机器视觉和自动驾驶:边缘检测可以帮助系统识别和追踪物体的边界,对于避障、路径规划和环境理解等任务至关重要。例如,香港城市大学陈沐谷助理教授团队与日本理化学研究所Takuo Tanaka教授团队合作开发的基于双目超构透镜的边缘增强深度感知系统,用于空间计算,有助于精确的3D场景建模,促进机器视觉、自动驾驶和机器人技术的发展。另外在医疗成像领域,边缘检测用于从MRI、X射线、CT扫描等图像中提取器官、血管和异常的边界,提高诊断的准确性。有研究提出了基于人工神经网络的MRI医学图像边缘检测算法,使用Canny算子作为训练输出,通过训练人工神经网络获得优化参数,对MRI医学图像的边缘检测结果进行主观和计算分析,结果表明该方法比传统的单一Sobel、Canny等算子获得的边缘信息更完整,处理时间也快近3倍。还有,边缘检测也可以用于目标运动检测,香港理工大学郝建华教授团队提出了一种由铁电共聚物调制的WSe2同质结简单器件结构的OMD视觉传感器,能够在零功耗下产生具有离散多态的渐进和双向光电流,实现了物体运动检测(OMD),这对于健康监测、虚拟现实和智能交通系统等应用至关重要。较为基础的应用是对象识别,最常见的是边缘检测帮助计算机识别和提取图像中的重要边界和轮廓,为后续的图像理解任务提供关键线索。除此之外边缘检测还可以在文档分析时进行字符识别、表格处理以及文本提取。以上种种案例仅仅是边缘检测所扩展开的应用,而边缘检测只是深度学习中的一个方向,由此可知机器学习可以为人类生活带来多大的变革,这也让我感觉读这本书是很有价值的,对于未来的理解以及视野的拓宽有所帮助,后续我将继续跟随书上的指导试着进行算法的实际学习。

  • 2024-09-19
  • 回复了主题帖: 罗姆有奖直播 | 高输出功率激光二极管—助力激光雷达性能提升

    已报名

  • 2024-09-17
  • 发表了主题帖: 《深度学习》初窥门径

    本人在三周之前收到了eeworld寄来的测评书籍《深度学习》。在工作之余进行了阅读,时值中秋,写下这篇读后感,第一阶段主要是对1-5章基础知识的阅读,对于一些基本概念进行了了解,并且对相关问题延伸做了查阅。这本书的配套很完善,异步社区对本书提供了很丰富的资料,能够帮助大家更好的入门深度学习这一领域。 在阅读了前五章之后,我对深度学习有了更深刻的理解,以下是我对这些章节内容的读后感。 首先,书中对机器学习问题的描述非常全面。作者详细解释了监督学习、无监督学习、强化学习等不同类型的机器学习问题。在监督学习中,模型通过训练数据学习到从输入到输出的映射关系,这为分类和回归问题提供了解决方案。无监督学习则在没有标签数据的情况下,通过学习数据的内在结构来发现模式,这在聚类和降维问题中尤为重要。强化学习则关注如何在环境中采取行动以最大化某种累积奖励,这在游戏、机器人等领域有着广泛的应用。 其次,书中强调了线性代数和微积分在深度学习中的重要性。线性代数为深度学习提供了强大的数学工具,如矩阵运算、特征值分解等,这些都是理解和实现深度学习算法的基础。微积分则涉及到梯度下降、反向传播等算法,这些算法是训练深度学习模型的关键。通过学习这些基础知识,我更加明白了深度学习模型背后的数学原理。 在介绍线性神经网络的回归算法时,书中详细阐述了如何使用线性代数来构建和训练模型。线性回归模型通过最小化损失函数来找到最佳的权重和偏置,从而实现对数据的预测。这一过程不仅涉及到数学推导,还包括了编程实现,让我对如何将理论知识应用到实践中有了更深的认识。 多层感知机(MLP)的实现是深度学习的核心内容之一。书中不仅介绍了MLP的结构,还详细讲解了如何使用暂退法(GD)和随机梯度下降(SGD)等优化算法来训练模型。暂退法是一种简单的优化方法,它通过在每次迭代中更新所有数据的权重来优化模型。而SGD则是一种更高效的优化方法,它每次只使用一个样本或一小批样本来更新权重,这大大加快了训练速度。 前向传播和反向传播是深度学习中的关键算法。前向传播负责计算模型的输出,而反向传播则用于计算梯度,以便更新权重。这两个过程共同构成了深度学习模型训练的基础。通过学习这些算法,我更加理解了深度学习模型是如何学习的。 书中还介绍了深度学习算法的参数管理,这对于提高模型性能至关重要。参数初始化、正则化、批量归一化等技术都是参数管理的重要组成部分。这些技术可以帮助模型避免过拟合,提高泛化能力。 自定义层的概念让我意识到深度学习框架的灵活性。通过自定义层,我们可以根据自己的需求来设计和实现特定的功能,这为深度学习的应用提供了更多的可能性。 总结来说,《深度学习》这本书不仅让我对深度学习的理论基础有了一定的理解,更让我对其充满了兴趣。 并且,我对于深度学习中损失函数相关知识进行了查阅,了解到一些常见的损失函数及其适用场景: 均方误差损失(MSE):适用于回归问题,计算预测值与真实值之间差值的平方和的平均值。它对大误差的惩罚更重,有助于减少极端错误,但对异常值敏感。 平均绝对误差损失(MAE):同样用于回归问题,计算预测值与真实值之间差异的绝对值的平均。与MSE相比,它对异常值的敏感性较低。 交叉熵损失:常用于分类问题,尤其是多分类问题,衡量模型预测的概率分布与真实标签的概率分布之间的差异。它直接优化模型输出的概率,使模型学习产生接近真实标签的概率分布。 Hinge损失:常用于支持向量机(SVM)等分类算法,鼓励模型对正确分类的样本产生较大的置信度。 Huber损失:结合了MSE和MAE的优点,对异常值具有较好的鲁棒性,适用于存在异常值的回归问题。 二元交叉熵损失(BCE):适用于二分类问题,结合了sigmoid激活函数,优化模型输出与真实标签之间的匹配程度。 Kullback-Leibler散度(KL散度):用于衡量两个概率分布之间的差异,常用于生成模型,如变分自编码器(VAE)和生成对抗网络(GAN)。 负对数似然损失(NLLLoss):与softmax函数结合使用,适用于分类问题,通过最大化真实标签的预测概率来优化模型。 选择损失函数时,需要考虑问题类型、数据特性、模型性能需求以及实验和调整。 以上便是对于《深度学习》这本书的初窥门径了。

  • 2024-08-22
  • 回复了主题帖: 读书入围名单: 《动手学深度学习(PyTorch版)》,配套视频、源码等

    个人信息确认无误,可以完成计划。

  • 2024-05-27
  • 回复了主题帖: 【2023 DigiKey大赛参与奖】开箱帖 STM32MP157

    秦天qintian0303 发表于 2024-5-11 09:07 看样子买的是芯片,准备自己画板子呢,这是真的强啊 嘉立创免费多层板很香啊

  • 回复了主题帖: 【2023 DigiKey大赛参与奖】开箱帖 STM32MP157

    lugl4313820 发表于 2024-5-10 20:32 这个自己得添不少钱吧? 还好,扣掉奖金自己加几十块就行

  • 2024-05-10
  • 发表了主题帖: 【2023 DigiKey大赛参与奖】开箱帖 STM32MP157

    今天收到了得捷大赛参与奖购买的物料,为STM32MP157CAA3,后续还有PCB要画一下,试一试STM32高端产品的性能。    

  • 2024-04-16
  • 回复了主题帖: 颁奖:泰克 MSO6B 探索营技术指标大挑战

    羡慕中奖的朋友们,飞利浦的手电筒是个什么样?

  • 回复了主题帖: 同事离职前一天,偷偷将一个470欧的色环电阻串进我的电源线中

    真的有意思,这波操作实在是太皮了。不过看电流还是可以有感觉到的

  • 2024-04-15
  • 回复了主题帖: 【米尔-瑞萨RZ/G2UL开发板-试用评测】基于MYD-YG2UL智能家居系统(二)

    挺好的应用演示,楼主开发功底还是不错的。

  • 回复了主题帖: 【USB充电器DIY】组装

    这是要一下子充多少个设备啊?这集成的口有点多。。。可以,但没必要啊

  • 2024-03-12
  • 回复了主题帖: 2024开工大吉,你期待测评中心,能有哪些板卡或书籍等?

    希望可以出一些高算力的视觉识别相关的开发板

  • 回复了主题帖: 《换道赛车:新能源汽车的中国道路》读后感2

    秦天qintian0303 发表于 2024-3-10 08:24 现在都在等小米SU7怎么出来    看样子雷布斯被夹住了,这个价不好定啊

  • 2024-03-09
  • 发表了主题帖: 《换道赛车:新能源汽车的中国道路》读后感2

    最近将这本书看完,刚好开过年国产电动车品牌纷纷降价,也是有所感触。最为大家所知的是国产品牌比亚迪的秦,在降价至7.98万之后销量暴涨。在电动车刚出来的时候以特斯拉作为不可撼动的行业大哥,国产品牌经历近十年时间终于迎头赶上,这中间离不开初始时的国产政策支持。为人熟知的是沪牌起初是有电动直接送,到后面变成了混动不送,再变成十万以下以及车长小于4.6米不送。政策的一步步收紧,意味着国产电动车也是不断刷新着市场的认知,国产电动车品牌百花齐放,诸如比亚迪、蔚来、理想、小鹏、五菱、欧拉、问界、欧拉、奇瑞、哪吒、长安、零跑、极氪等等,不仅包含传统燃油车厂商的转型也包括新车商的诞生,最近为人津津乐道的小米也姗姗来迟,SU7始终无法上市定价,因为被一众车商的降价操作按在地上摩擦,技术亮点虽然有,但是价格上的优势是否存在却难以预料。国产电动汽车的智能化、舒适化以及驾驶体验已然做得不俗,并且在价格以及后期使用成本方面比传统燃油车要经济。开年之后电池原材料价格也下跌,结合经济大环境,比亚迪的这波降价操作名利双收。个人感概目前科技的进步日新月异,智能化程度随着单个电子元件的不断升级而变得越来越高,软件算法也在不停地更新迭代,从业人员的增加给电动汽车产业赋能,智能驾驶终将会应声落地。将来开车将会变得越来越简单,最近飞行汽车的概念也出现了,未来的交通工具界限可能会变得不那么明显。接下来贴几张网上查到的电动汽车销售量的数据与充电桩保有量数据,可以看到最近几年来中国新能源车的成长势头是非常快的,弯道超车有望实现,燃油车已然不可追,那么新能源是值得期待的。   蓝色柱形为新能源汽车销售量,红色为同比增长率   蓝色柱形为充电桩保有量,红色为同比增长率  

  • 2024-03-05
  • 加入了学习《泰克MSO6B探索营》,观看 MSO6B强大的测试和分析功能

  • 加入了学习《泰克MSO6B探索营》,观看 MSO6B多通道同步频谱分析

  • 加入了学习《泰克MSO6B探索营》,观看 如何完成AI芯片电源噪声测试

  • 加入了学习《泰克MSO6B探索营》,观看 MSO6B系列低噪声演示

  • 加入了学习《泰克MSO6B探索营》,观看 MSO6B技术介绍

统计信息

已有83人来访过

  • 芯积分:1008
  • 好友:--
  • 主题:19
  • 回复:520

留言

你需要登录后才可以留言 登录 | 注册


现在还没有留言