发表了主题帖： 基于vision板子并在OpenMV工程基础上进行多模态机器人的测试和开发

      经过对rtthread社区的官方文档学习后，发现目前vision板子上openmv工程已经很完善，甚至可以WiFi图传。 这对我的方案实现很有帮助，可以极大加快开发的速度和效率。按照教程描述，打开了mjpeg_streamer.py这个WiFi的例程，就很顺畅的跑起来了。 当然上图所示的结果，也是需要按照教程中说的，修改了自己相应的WiFi联网热点名字和密码才能正确运行。之后就是在另一台Linux服务器上去连接同一个WiFi-AP路由器，vision板子必须和服务器互相ping通，才能打开浏览器访问WiFi图传的mjpeg流。 从上图可以看到，虽然因为操作不太方便造成的截图有点模糊，但是在另一台Linux服务器上浏览器已经正确的获取了mjpeg流。 到这里就很容易了，接下来的流程就是在服务器上处理WiFi图传流中的某一帧图片，截图保存后并把这张图片进行token化，准备作为多模态大模型vllm的query，传送给vllm然后获取到它的answer。 接下来，我尝试了几个ollama中的本机运行的多模态大模型vllm，例如llava-phi3/bakllava/llava-llama3等等。 运行测试结果都不如人意，主要是这台Linux服务器作为我自己用的测试服，只是开发和测试环境里用的，算力性能和内存资源等等都比较受限制，推理时间特别长。所以我干脆把图片传给了云端的Qwen2-vl多模态大模型，下面来看看它的答案answer情况（主要想看下它是如何开始胡说八道的哈哈（不是））。 首先我把获取到jmpeg流中的截取出来一个整体的截屏图片，如下所示。 然后我的prompt为------Q：请描述一下图片中的大概内容，从Qwen2-VL得到的答案如下所示。 A：图中是一个网页，地址栏写着192.168.2.103:8080，下面显示的是一段代码，代码内容如下： 这是一段Python代码，使用了picamera和HTTPServer库，实现了启动一个web服务，端口8080，可以实现实时显示Raspberry Pi的摄像头画面（你看看哈哈）。 这是不是已经接近了一本正经的胡说八道呢？代码部分完全是它自己生产。 然后我把这个整体图片再做一次中心截取，上传给它。 这次我的prompt为------Q：这个图片里面是什么呢？从Qwen2-VL得到的答案如下所示。 A：这张图片显示的是一段计算机代码，看起来像是Python语言编写的。虽然图片有些模糊，但我可以尝试解读一下其中的部分内容。代码似乎与网络通信有关，包括导入了一些库，比如os、sys、time、picamera以及两个HTTP相关的库。此外，还定义了一个CameraServer类，继承自SimpleHTTPRequestHandler，处理GET请求。这个类有两个方法do_GET，分别对应于不同的路径。一个是根路径'/'，另一个是'/stream.jpg'。根路径返回一个HTML页面，该页面包含一个指向'stream.jpg'的图片元素。而'/stream.jpg'路径则返回一个JPEG图片。整个程序看起来像是一个简易的HTTP服务器，用于提供实时的图片流服务。 那这一次的答案就还是算比较靠谱了，而且它并没有自己胡编乱造，要给Qwen2-VL多模态大模型点赞！ 最后呢作为比对基准，当然我们是用直接截屏的方式，获取了omv-ide中的图片上传的。 这次我的prompt为------Q：这个图片里面是什么东西呢？从Qwen2-VL得到的答案如下所示。 A:：图中是OpenMV IDE的界面，左侧是代码编辑区，右侧是图像预览区。代码是用python语言编写的，主要功能是通过WiFi传输视频流。 具体来说： 第23行到第30行是初始化摄像头模块并设置分辨率； 第31行到第40行是连接WiFi； 第41行到第57行是创建服务器套接字并开始发送视频流； 最后一行是串口输出的数据。 代码的具体含义如下： 这段代码用于将OpenMV Cam连接到指定的Wi-Fi网络，并通过HTTP协议将压缩后的JPEG图像流发送到主机。首先初始化摄像头传感器和WLAN模块，然后尝试连接到指定的Wi-Fi网络。一旦成功连接，就创建一个TCP/IP套接字并监听端口8080上的连接请求。当有客户端连接时，就开始发送压缩后的JPEG图像流。最后关闭连接。 可以看出来，这次才是最靠谱的答案状态，并且根据实际的omv-mpy源码进行解释。 PS：通过上述的操作流程和编码实现等等，我们已经完成了实测vision板子的多模态对话聊天全流程。并且做了三项对比，由此我们可以熟知当前多模态大模型在具身智能机器人应用场景里的局限性，当然也包含了先进性。   最后，尚未未实现的流程也有，例如扩展iis接口的Dmic硅麦，或者USB接口的mic采集语音音频，再用其他支持音视频交互的多模态大模型进行对话聊天的chatbot流程等。  

回复了主题帖： 立创·ESP32S3R8N8开发板

秦天qintian0303 发表于 2024-9-17 19:23 墨水屏也可以在得捷电子上进行采购，就是太贵   那确实。

发表了日志： Vision板子和机器视觉omv

发表了主题帖： Vision板子和机器视觉omv

本帖最后由 ly87802541 于 2024-9-16 19:21 编辑 Vision板子的开箱体验 最近有关于rtthread社区和瑞萨举办的Vision板子活动已经快要接近收官，我们快速来体验一下板子的开发环境等初步流程。 首先要去社区官网论坛上找到有关板子的教程文档和环境搭建等技术内容如以下地址https://www.rt-thread.org/document/site/#/rt-thread-version/rt-thread-standard/hw-board/ra8d1-vision-board/ra8d1-vision-board，有了文档指路后一切变得流畅起来。 根据教程，首先下载安装最新版的rttstudio如当前的2.2.8版本。Ide安装后就可以安装对应板子的sdk了，如下图所示。 然后sdk管理器会自动安装关联的工具链，调试器包等等。 安装sdk1.3版本成功后，显示如下图所示。 然后我们new一个开箱篇经典的led工程，如下所示。 Build it。 Link it。 Download firmware。 下载固件OK后，可以看到vision板子上的蓝色led灯开始闪烁，说明整个开发流程皆是如此丝滑，在rtthread社区全方位的优化之下，单片机的开发和测试等等已经完全自动化了。 开箱到此结束，敬请期待后续分享的体验过程。 OpenMV工程的体验 我们继续来new一个示例工程如OpenMV，如下图所示。 新建后Build it。 出错了，按照社区论坛文档说的还是需要mdk工具来编译这个OpenMV工程，于是用我之前安装的mdk5.36来打开它，如下图所示。 Mdk自己自动开始下载需要的pack包，如RA_DFP.5.5.0.pack。似乎看起来还蛮顺利，不过在包安装后，自动进入RTE设置界面，进行编译的时候也发现出错了，如下图所示。 于是，赶紧下载了一个mdk5.40更高版本来重新编译。安装mdk 5.40后也是自动安装 RA_DFP.5.5.0.pack最新版本的包，如下图所示。 然后也是继续进行build it 和link it，结果发现还是出错了。 仔细一看，原来还是需要mdk版本必须那什么，大家懂的都懂。 于是如此这般一番操作后，继续。 如上图所示，终于linked。接着就是下载固件了，也是有点小问题，如下图所示。 又是一番操作后，主要时Size这里要改为0xE0000，终于download firmware成功。 继续在教程的指导下进行openmv ide的安装，omv官方网站下载超慢，等不及就在星瞳电子下载了一个中文版先用着，最新版本以后再说。 这里我偷了个懒，先用例程试了一下，体验了一把vision板子的openMV工程，运行画面如下图所示。 可以看到，omv的camera是OV5640，固件版本是4.5，我拍摄的视频就是omv-ide中的编辑器画面，最后关闭。 关于vision板子的omv工程体验到此结束，下一步就要开始自己的开发体验了。

回复了主题帖： 立创·ESP32S3R8N8开发板

tagetage 发表于 2024-9-15 21:27 这个板子的元件布局看着不错，画PCB的人有水平。 立创电子开源硬件平台推出的项目，应该还不错吧

回复了主题帖： 立创·ESP32S3R8N8开发板

walker2048 发表于 2024-9-16 11:08 其实esp idf真的很好用，用习惯了，比python更顺手，生态也更完善 IDF我也用，哈哈产品用的多点吧，自己玩的就mpy，开心就好啦

发表了主题帖： 立创·ESP32S3R8N8开发板

本帖最后由 ly87802541 于 2024-9-15 18:14 编辑   立创开源硬件平台最近有推出一系列的开发板，例如泰山派，梁山派，实战派等等，生态系统越做越大了。刚好最近我有买了其中的一个立创·ESP32S3R8N8开发板，正好来简单的测试一下。 开箱图片正反面如下所示。 接口是USBC的，数据线连接电脑后红绿灯都开始闪烁，我也不知道具体啥情况。然后赶紧到立创官网https://wiki.lckfb.com/zh-hans/esp32s3r8n8/module/sensor/open-mv.html去看看有关的教程，首先到micropython官网下载固件，到乐鑫官网下载烧录工具等如下图。 接下来就可以thonny连接开发板，简单测试一下系统和mpy固件的当前状态。 系统资源啥的基本符合立创官方对这个立创·ESP32S3R8N8开发板开发板的描述，对这个开发板的检测就结束了。后面我可能会用它作为核心板，去尝试做一个墨水屏摆件啥的东西参加立创第九届的电子设计活动，如果过程中有什么想法值得分享，会在有时间的时候写一写。 立创·ESP32S3R8N8开发板 立创开源硬件平台最近有推出一系列的开发板，例如泰山派，梁山派，实战派等等，生态系统越做越大了。刚好最近我有买了其中的一个立创·ESP32S3R8N8开发板，正好来简单的测试一下。 开箱图片正反面如下所示。 接口是USBC的，数据线连接电脑后红绿灯都开始闪烁，我也不知道具体啥情况。然后赶紧到立创官网https://wiki.lckfb.com/zh-hans/esp32s3r8n8/module/sensor/open-mv.html去看看有关的教程，首先到micropython官网下载固件，到乐鑫官网下载烧录工具等如下图。 接下来就可以thonny连接开发板，简单测试一下系统和mpy固件的当前状态。 系统资源啥的基本符合立创官方对这个立创·ESP32S3R8N8开发板开发板的描述，对这个开发板的检测就结束了。   后面我可能会用它作为核心板，去尝试做一个墨水屏摆件啥的东西参加立创第九届的电子设计活动，如果过程中有什么想法值得分享，会在有时间的时候写一写。   PS：墨水屏也可以在得捷电子上进行采购，还挺方便的。

回复了主题帖： 树莓派5开启一直卡在限流，求教各位大佬支招

啥也不说了，直接上小米67瓦快充头，不接HDMI显示器毫无问题哈哈  

发表了主题帖： 【2024 DigiKey创意大赛】RPI5翻译机---3 关于52840dongle补充说明

  继续这个翻译机的体验流程，开箱中有提到过52840dongle的使用场景，希望用leaudio音频协议去连接播放器设备如音箱等。不过在查了自己家里的蓝牙音箱后发现，还没有一个播放器设备可以支持leaudio音频协议，最新的也只是支持到经典蓝牙音频播放的Sony音箱。   那就只有暂时放弃这个想法了，另外我们还有个扩展的imu模块icm20948，可以在树莓派5系统上直接使用python语言去操作它。和开箱子中的利用一个mcu主控和mpy去操作它基本没有太大区别，首先还是需要安装这个来自adafruit的驱动库：sudo pip3 install adafruit-circuitpython-icm20x，然后这个库在树莓派上是底层用到了RPi.GPIO库去操作iic接口等硬件外设，最终得到imu模块采集到的运动姿态数据。 首先我们需要安装来自adafruit公司的官方模块，如下图所示。 然后，编写一个python语言的脚本文件例如imu-icm20948.py。 接下来就可以直接运行脚本。 可以看到，很简单就驱动了imu模块icm20948，接下来就可以用采集的运动姿态数据进行其他算法的开发和测试，例如跌倒检测，计步等等。   最后，这是imu模块和树莓派5的40pin接口iic总线连接，接线图如下图所示。 关于imu模块icm20948的检测到此结束。

回复了主题帖： 【2024 DigiKey 创意大赛】物料开箱

空耳- 发表于 2024-9-5 10:40 8G不是不报销吗，活动只有4G啊   这就是大佬的魅力所在哈哈，和我们不一样的。

回复了主题帖： 【Follow me第二季第2期】扩展任务二：通过外部SHT40温湿度传感器，上传温湿度到HA...

大佬们牛叉！

回复了主题帖： OpenGlass：这个基于ESP32S3、成本100多AI眼镜，坛友会想复刻用？

nmg 发表于 2024-8-21 18:23 OpenGlass成品是这样的，盲猜咱论坛网友自己都可以搞定，但会不会嫌弃太重啊 安装上黑块以后，用户能够 ... 简直是666！

回复了主题帖： 【2024 DigiKey 创意大赛】赛博竖笛 初次打板尝试

jd3096 发表于 2024-8-20 15:14 还有一个气压传感器我没拍进去 通过吹气气压变化来实现气流强弱监测 这创意确实666！

回复了主题帖： 【2024 DigiKey创意大赛】RPI5翻译机---2 RPI5物料开箱-2

damiaa 发表于 2024-8-19 13:54 不错，感谢分享，nordic的开发环境好像是有些折腾人。 标记一下，有时间再过来细看。 ncs比较麻烦，MDK的nrf5SDK还比较好点

回复了主题帖： 【2024 DigiKey创意大赛】RPI5翻译机---2 RPI5物料开箱-2

ly87802541 发表于 2024-8-19 17:04 zephyr项目又是一套环境，麻烦大了，懒得去弄了。 Python版本还是3.11，后面想想有没有其他办法解决。

回复了主题帖： 【2024 DigiKey创意大赛】RPI5翻译机---2 RPI5物料开箱-2

alanlan86 发表于 2024-8-19 08:24 可以在52840上跑zephyr上的broadcast audio source（controller端），在RP5上跑BlueZ。 Bluetooth: Broa ... zephyr项目又是一套环境，麻烦大了，懒得去弄了。

回复了主题帖： 【2024 DigiKey 创意大赛】物料开箱

lospring 发表于 2024-8-15 18:19 感谢DigiKey提供的这次机会，活动很棒。 本次项目主要用到RT1062 Teensy 4.1 i.MX ARM® Cortex® ... 这可是大牛板鸭哈哈！期待大佬的分享。

回复了主题帖： 「2024 DigiKey 创意大赛 」1、ESP32 S3 LCD DEV开箱

walker2048 发表于 2024-8-16 22:37 由于下单下的比较迟，物料发过来也比较晚，今天补上开箱帖子 1、主控板 ESP32-S3-LCD-EV-Board 是一 ... 终于等到大佬的开箱子，期待你的分享！

回复了主题帖： 【2024 DigiKey创意大赛】RPI5翻译机---2 RPI5物料开箱-2

Jacktang 发表于 2024-8-17 07:30 要注意的是在Nordic官方提供的nrf5sdk编译后的52840dongle固件，并未提供支持leaudio传输协议，所以需要pts ... 感谢大佬关注哈哈！

发表了主题帖： 【2024 DigiKey创意大赛】RPI5翻译机---2 RPI5物料开箱-2

    开箱第一篇中，对于nrf52840usbdongle只是惊鸿一瞥，没来得及细说。实际上对于蓝牙开发来说，这个小模块是很有名气，用途也很多。 比如说，普通用于Nordic系列蓝牙soc开发的蓝牙适配器，和其出品的官方开发板进行连接，配对，数据传输和Fota等。又或者还有大佬们用于wireshark抓包工具，无线mesh组网的gateway，兼容thread和bt mesh等等。 在蓝牙音频上，也可以用它来做ble连接适配器，甚至是leaudio测试等。不过需要注意的是在Nordic官方提供的nrf5sdk编译后的52840dongle固件，并未提供支持leaudio传输协议，所以需要pts固件等前提条件的支撑。 这里简单介绍一下有关dongle开发的nrf5sdk下载，到Nordic官网地址https://www.nordicsemi.com/Products/Development-software/nrf5-sdk/download浏览，最新版是17.1.0。如下图所示。 下载后的编译，烧录和测试，还有mdk中有关Nordic的52840等pack安装，这里就不再赘述，无论Nordic官网还是全其他网教程不要太多。只贴几个图片如下。 最后编译出固件，0error，0warning。 顺便说一句，如果在keil的mdk中pack直接从Nordic官网下载速度慢，或者根本下不下来，就自己去官网链接地址https://www.nordicsemi.com/Products/Development-tools/nrf-mdk/download#infotabs浏览，并查找和下载对应你使用的ide工具的版本。 例如我的是在这里https://nsscprodmedia.blob.core.windows.net/prod/software-and-other-downloads/desktop-software/nrf-mdk/sw/8-44-1/nordicsemiconductor.nrf_devicefamilypack.8.44.1.pack下载的8.44版本pack。 另外，如果你对命令行的使用有执念，也可以自己下载并安装Nordic的官方工具，地址是https://www.nordicsemi.com/Products/Development-tools/nrf-command-line-tools/download#infotabs。 这里我安装的版本是这个https://nsscprodmedia.blob.core.windows.net/prod/software-and-other-downloads/desktop-software/nrf-command-line-tools/sw/versions-10-x-x/10-24-2/nrf-command-line-tools-10.24.2-x64.exe，下载和安装后也可以在Windows系统命令行下愉快的玩耍。 可以看到，52840dongle已经连接了。使用nrfutil工具的device list命令，找到了nrf52840usbdongle。 最后，Nordic官方的desktop和mobile端都有connect app需要安装，连接52840dongle如下图所示。 通过dongle也可以连接自己手机，耳机等蓝牙设备。 再补充一下使用无线ble方式，给52840dongle烧录固件的图片如下。 其实我还没想好，到底在树莓派5上如何结合这个52840dongle蓝牙模块，实现一个什么功能，敬请期待后续分享。 这里只给出一个临时想到的idea，ble audio连接外部支持leaudio格式的蓝牙音箱，播放翻译后的语音吧。当然还是一如既往的，不能保证肯定可以实现哈哈。