发表了日志： 深度自然匿名化：隐私保护与视觉完整性并存的未来！

发表了主题帖： 深度自然匿名化：隐私保护与视觉完整性并存的未来！

在科技迅速发展的时代，保护个人隐私的需求日益增长，有效匿名化技术的重要性不容忽视。无论是针对敏感的图像、视频，还是数据，在隐私保护与保持视觉完整性之间取得平衡至关重要。虽然模糊化一直是匿名化的常用选择，但一种更复杂、更强大的方法——深度自然匿名化（DNAT）——已经成为一种更优的替代方案。 一、深度自然匿名化（DNAT）的优势 1、保留上下文信息 （1）模糊技术的局限：模糊处理的主要缺点之一是上下文信息的丢失。当图像或视频严重模糊时，当图像或视频被严重模糊化时，重要的视觉线索和细节可能会被扭曲或完全不可辨认。 （2）DNAT的优势：DNAT利用先进的算法，有选择性地修改图像或视频中的特定元素，同时保留整体上下文。例如，通过brighter AI的DNAT技术在匿名化人脸时，公司可以保留关键属性，如年龄、情感、视线方向、种族和年龄信息。这确保了匿名化内容仍然具有可理解性，并保持其原始的视觉完整性。 2、真实且美观的效果 （1）模糊技术的局限：模糊化通常会导致粗糙且不自然的外观，从而影响内容的理解和用户体验。 （2）DNAT的优势：DNAT借助深度学习技术，能够生成更加真实且美观的匿名化内容。通过分析原始数据并在大型数据集上进行训练，该算法学会模拟图像或视频中的自然变化，生成的匿名化结果能够与周围环境无缝融合。这种真实性的效果确保了匿名化内容不会具有误导性。 3、增强隐私保护 （1）模糊技术的局限：尽管模糊化可以提供基本的隐私保护，但面对先进的图像还原技术可能并不足够。有经验的人员可以使用去模糊算法或其他工具逆向处理，恢复敏感信息。 （2） DNAT的优势：DNAT显著提高了逆向匿名化的难度。通过以更复杂和细致的方式处理内容，深度学习模型提供了更高水平的隐私保护，确保原始信息无法轻易恢复。 4、可扩展性和自动化 （1）模糊技术的局限：模糊化处理可能是一个耗时的过程，特别是在处理大型数据集时。为视频的每一帧或多张图像逐一应用和调整模糊效果所需的手动操作既繁琐又不切实际。 （2）DNAT的优势：DNAT则可以实现这一过程的自动化。一旦模型完成训练，它便能够高效地匿名化海量数据，使其在需要大规模匿名化的场景中更具可扩展性和成本效益。 5、适应性和可定制性 （1）模糊技术的局限性：模糊化技术通常会对整个图像或视频应用统一程度的匿名化，而不考虑具体的隐私需求。 （2）DNAT的优势：DNAT则提供了更高的适应性和可定制性。模型可以根据不同的隐私需求进行微调，从而实现对图像或视频中特定区域或对象的选择性匿名化。这种灵活性使得匿名化过程能够得到精确控制，并确保隐私问题得到有效解决。 6、展望未来 （1）模糊技术的局限性：模糊化会删除数据，在需求出现时仅能提供极少可用数据。 （2）DNAT的优势：由于能够保留语义分割，DNAT通常是公司首选的匿名化技术，这使其成为适合驾驶分析和机器学习的匿名化方法。因此，它已成为依赖分析和机器学习的企业首选的匿名化解决方案。我们坚信未来准备的重要性，并优先选择DNAT而非其他匿名化技术。 二、总结 随着隐私问题的日益增长，对强大而有效的匿名化技术的需求变得至关重要。如今，许多公司需要明智地选择合适的匿名化供应商。尽管模糊化曾是一个广受欢迎的选择，但深度自然匿名化（DNAT）的出现彻底革新了这一领域。 通过保留上下文信息、呈现真实效果、增强隐私保护、实现可扩展性以及提供适应性，DNAT被证明是传统模糊化方法的更优替代方案。其复杂的算法和深度学习能力为隐私与视觉完整性和谐共存的未来铺平了道路。  

发表了主题帖： 康谋技术 | ADTF: 助力自动驾驶系统开发的强大工具箱！

本帖最后由 康谋自动驾驶 于 2025-1-9 11:17 编辑 在过去十年中，自动驾驶和高级驾驶辅助系统（AD/ADAS）软件与硬件的快速发展对多传感器数据采集的设计需求提出了更高的要求。然而，目前仍缺乏能够高质量集成多传感器数据采集的解决方案。   ADTF正是应运而生，它提供了一个广受认可和广泛引用的软件框架，包含模块化的标准化应用程序和工具，旨在为ADAS功能的开发提供一站式体验。 一、ADTF的关键之处！ 无论是奥迪、大众、宝马还是梅赛德斯-奔驰：他们都依赖ADTF来开发智能驾驶辅助解决方案，直至实现自动驾驶的目标。从新功能的最初构思到批量生产的准备，为每一行代码编写奠定了基础。   ADTF软件框架在汽车行业中扮演着至关重要的角色，主要体现在以下几个方面： 1. 最大数据吞吐量：确保在高负载情况下依然能够高效处理和传输数据，为自动驾驶系统提供实时反馈。 2. 高性能实时数据分析：支持复杂算法的实时运行，提升决策精度，增强自动驾驶的安全性。 3. 提高算法测试效率：简化测试流程，缩短开发周期，加速产品上市。 4. 即插即用的通用接口和总线：简化硬件集成过程，促进不同设备之间的兼容性，降低系统复杂性。 5. 硬件组件之间的高效通信：确保不同平台上的所有硬件组件能够无缝协作，提升系统整体性能。 6. 集成开源软件：通过开源解决方案，促进分布式系统的配置与管理，提升灵活性和可扩展性。 7. 广泛的开源文件库：支持在FEP、RTI-DDS和ROS2等平台上离线读取、写入和处理数据流，便于数据的共享和再利用。 8. 多语言SDK支持：C++/JS/QML SDK为客户提供扩展功能的灵活性，使得软件组件可以在各种仿真集和测试设置中多样化应用。 9. 云（后）处理工具的构建：使开发者能够创建高度可扩展的自动化解决方案，满足未来需求。 10. 遵循汽车标准：支持CAN、CAN FD、FlexRay、XCP、Some/IP、汽车以太网/Autosar等标准，确保产品的兼容性和行业适应性。 二、ADTF的魅力所在！ （1）用于解码AUTOSAR描述的车辆数据总线系统的工具 作为测量技术的强大合作伙伴，基于ADTF（高级驾驶技术框架）的ARXML解释器已经被梅赛德斯－奔驰、奥迪、博世和大众等汽车制造商广泛使用。在现代车辆中，所有电子控制单元（ECU）相互连接，形成一个称为数据总线系统的网络。   随着车辆技术的发展，数据总线系统越来越多地依赖于ARXML数据库。ARXML是一种用于描述ECU之间通信信息的格式，包括信号、帧（数据包）和时间顺序等信息。 ARXML解析器插件由Device Toolbox中的总线服务实例化，这意味着它作为一个工具，可以扩展解析和加载信号数据库的功能。它们充当不同数据库之间的桥梁，并向Device Toolbox提供关键信息。   ARXML解析器引擎能够快速解析这些ARXML数据库，将所需信息传递给解析器插件。该插件支持多个通信协议和标准，具体功能包括： 1. 消息和信号的编码与解码：能够处理CAN（控制区域网络）和CAN FD（灵活数据速率）消息和信号的格式。 2. 多路复用信号处理：可以在一个消息中同时传输多个信号，从而提高数据传输效率。 3. FlexRay通信的时间调度：支持FlexRay协议中的时间管理，可以在不同的通道（A通道和B通道）中进行输入输出操作。 4. FlexRay帧和协议数据单元的处理：能够解析和转换FlexRay帧（数据包），并支持大端序和小端序（不同的字节序列存储方式）。 5. 信号处理策略：支持单调计数和锯齿计数的方式，以及对信号位的递增、递减和排序操作，处理多路复用的协议数据单元。   通过这些功能，ARXML解释器能够有效地管理和处理现代车辆中的复杂通信需求，确保各个ECU之间能够顺畅地交流，从而提升车辆的整体性能和安全性。 （2）将功能工程平台（FEP）集成到ADTF中 功能工程平台（FEP）是一个免费提供的开源中间件，旨在简化分布式系统的开发和管理。通过将FEP集成到ADTF（高级驾驶技术框架）中，ADAS（高级驾驶辅助系统）开发人员可以克服许多设置和管理分布式系统的挑战，同时仍能享受到ADTF提供的高性能实时数据管理和验证功能，包括记录和回放测试数据。   使用ADTF配置编辑器，开发人员可以轻松配置分布式系统。这使得以简单的方式体验复杂的仿真、测试和验证架构成为可能，无论是在个人电脑上运行，还是在可扩展的云环境中操作。这样，开发人员可以更加高效地进行ADAS功能的测试和快速原型设计，从而加快技术的开发进程。 （3）自动可视化和评估测试用例的机载分析工具 Supertester是一款用于自动化可视化和评估ADAS（高级驾驶辅助系统）功能测试用例的机载分析工具。它通过直观的用户界面，自动采集和控制测试过程，帮助测试管理人员避免因执行错误或未遵守规定参数而产生的挫败感。这样，Supertester能够提升ADAS功能测试的安全性，同时显著节省时间和成本。   在测试执行中，Supertester自动监控测试过程和系统状态，确保所有测试参数都符合规定。测量数据会被实时记录，并可以用于引导测试程序。Supertester提供的主要服务包括： 1. 引导测试和实时分析：为用户提供直观的操作指导，并实时分析测试结果。 2. IS029119一致性测试：确保测试符合国际标准的要求。 3. 整体测试文档：生成全面的测试文档，便于后续查阅和管理。 4. 通用接口：与测试管理系统进行数据交换，方便信息共享和协作。   测试结果的特点包括： · 上传测试结果：用户可以方便地将测试结果上传至系统。 · 可视化评估：清晰展示驾驶操作和相关测试结果的可视化信息。 · 即时反馈：测试执行后，用户能够立即获得测试结果。 · 完整的环境数据：上传所有必要的测试环境数据，确保结果的可靠性和准确性。   通过这些功能，Supertester大幅提升了ADAS功能测试的效率和可靠性，使测试过程更加顺畅。 三、总结 综上可知，ADTF是一个模块化、标准化的软件框架，广泛应用于ADAS和自动驾驶功能的开发。它通过高效的数据吞吐量、实时数据分析和多传感器集成能力，加速算法测试和产品开发。ADTF同时也支持多种汽车通信标准（如CAN、FlexRay、Autosar等），并提供即插即用的接口，简化硬件集成。   此外，其ARXML解析器支持复杂车辆通信数据的解码，确保ECU间高效通信；FEP中间件的集成则优化了分布式系统的开发与验证；Supertester工具进一步通过自动化标准测试和实时分析提升ADAS测试的安全性与效率。   总体而言，ADTF为智能驾驶开发提供了高性能、灵活性和可靠性的全方位支持，成为行业中不可或缺的解决方案。

发表了日志： ADTF为何能赢得奥迪、博世等巨头的青睐？

发表了主题帖： 如何应对ADAS/AD海量数据处理挑战？

随着软件定义汽车的发展，车辆生成的数据量也以前所未有的速度不断增加。这些数据包含广泛的信息，包括传感器数据、遥测数据、诊断数据等。在开发过程中，有效处理这些数据并从中获得见解至关重要。   对于原始设备制造商（OEM）和汽车一级供应商（Tier 1）来说，是否自主构建和维护数据处理流程是一个至关重要的考虑因素。数据处理流程是应对当下软件定义汽车所产生的海量数据的基础组件。 一、问题背景 在 AWS 等云平台上为高级驾驶辅助系统 （ADAS） 和自动驾驶 （AD） 数据构建鲁棒的数据处理流程，通常需要全面了解各种服务及其集成。您可能使用的特定服务可能取决于应用程序的要求、数据源和处理需求。 为了解决这一问题，康谋通过使用IVEX提出了专门用于应对ADAS/AD海量数据的数据处理流程。该流程的核心目的是自动从原始传感器数据等输入中识别出值得关注的事件和场景。构建这样的数据处理流程需要仔细考虑各种技术方面，例如：原始传感器数据的云端存储、基于原始数据的算法执行（包括需要例如GPU等特定资源的机器学习算法）、事件和场景等后处理数据的存储机制、算法版本控制、结果可视化以及确保数据仅对授权用户可见。 二、内部构建或获取预组装解决方案 IVEX的数据处理流程基于多种AWS服务实现无缝衔接，以下是经过策略性部署的AWS服务：   1. 原始传感器的数据（包括激光雷达点云、相机图像和GNSS信息）存储在S3存储服务中。S3用作采集数据的暂存地，为后期处理的数据提供扩展存储，并为处理提供经济高效的短期存储解决方案。此外，使用S3挂载点功能能让S3作为主要的“处理卷”，使其能够像文件系统一样使用。虽然它不完全符合POSIX标准，对某些工作负载存在限制，但可以通过整合EFS和可能添加的FSx来解决这个问题，以根据需要确保兼容性。 2. 处理后的数据（重要事件和场景）存储在关系型数据库服务（Relational Database Service，RDS）和DocDB中。RDS是一个高效的存储库，用于组织对分析至关重要的标记数据。同时，DocDB作为文档存储运行，它是专为快速变化的数据和显示目的所需的二进制数据而设计的。 3. EKS和EC2处理算法执行和可视化任务。EKS充当一系列服务的主机，包括后端、数据服务、前端和处理服务。EC2主要用于根据为EKS制定的规则配置机器。 4. 算法的版本控制通过 ECR 进行管理。ECR用于存储Docker容器镜像。 5. 身份验证通过Cognito进行。如果有必要，可以灵活地替换为任何OpenID Connect （OIDC）解决方案。 6. 数据传输和临时数据存储通过EFS进行管理。EFS作为临时处理区域运行，供各种数据处理流水线存放中间数据并促进不同进程之间的数据共享。因为EFS完全符合POSIX标准，所以可以选择它作为S3的替代文件系统。 这个方案示例突出了构建鲁棒的ADAS/AD数据处理流程所涉及的众多云服务，并强调了应对各种技术复杂性的必要性。此外，还必须解决诸如组织输入数据、确保数据格式兼容性以及管理和监控数据格式变化等挑战。 例如，随着ADAS/AD系统的发展，添加更多传感器以及管理不同车辆配置的需求成为数据处理流程中的关键考虑因素。如果不加以妥善处理，这些因素可能会导致不正确的数据处理，最终得到错误的结果。 上图列出的是构建此数据处理流程的预计工作量和成本细目，该处理流程可标记12种驾驶场景、提取驾驶参数，并支持可视化大型文件（≥ 10TB）。 三、总结 总之，解决上述的这些问题需要付出大量的努力。显而易见的是，选择预先搭建好的数据处理流程将拥有更低的开销。此后，便可以将节省的时间和成本分配给开发OEM和Tier1产品的关键方面。  

发表了日志： 如何应对ADAS/AD海量数据处理挑战？

发表了主题帖： 多源相机数据采集与算法集成测试方案

本帖最后由 康谋自动驾驶 于 2024-12-10 10:13 编辑 在智能化技术快速发展当下，图像数据的采集与处理逐渐成为自动驾驶、工业等领域的一项关键技术。高质量的图像数据采集与算法集成测试都是确保系统性能和可靠性的关键。随着技术的不断进步，对于图像数据的采集、处理和分析的需求日益增长，这不仅要求我们拥有高性能的相机硬件，还要求我们能够高效地集成和测试各种算法。   本文和大家讨论一种多源相机数据采集与算法集成测试方案，能够满足不同应用场景下对图像采集和算法测试的多样化需求，确保数据的准确性和算法的有效性。 一、相机组成 相机一般由镜头(Lens)，图像传感器(Image Sensor)，图像信号处理器(Image Signal Processor, ISP)，接口组成。   图 1 相机基本结构 （1）镜头：用于聚焦光线，将视野中的物体投射到成像介质表面，镜头的光圈决定了进光量的大小，FOV（Field-of-View）决定了视野范围的宽度。 （2）图像传感器：负责将光子转化为电信号，Sensor上的像素数量越多，清晰度就越高。像素的尺寸越大，感光能力就越好。 （3）ISP：负责将传感器捕捉到的原始数据转换为高质量的数字图像，包括完成去马赛克，白平衡，色彩校正等功能。 （4）接口：是相机与外部设备（如计算机）之间信息交流的通道，包括完成数据传输、供电和控制信号输出等。   在实际应用中，常见的相机有USB接口相机，以太网接口相机和车载Fakra相机等。每种相机都有其独特的特点和应用场景。比如，USB免驱相机具备其即插即用和便携性的特点，以太网接口相机则以具备高帧率和网络连接能力，车载相机具备高稳定性和长距离传输的能力。   由于不同的应用场景对图像采集与算法测试的要求各异，例如自动驾驶、工业检测、交通监控等，它们对图像的分辨率、帧率、传输距离和算法部署效果等有着不同的需求。因此，需要不同类型的相机来满足这些多样化的数据采集与算法测试需求。 二、多源相机采集与测试方案 多源相机的数据采集与算法测试，需要根据实际应用情况对各种相机进行不同的参数（比如分辨率，帧率）等配置，并根据不同来源数据有效结合算法部分进行测试。   在实际运用过程中，可以了解到每种相机都对应有自己的SDK包，比如USB免驱相机V4L2 API。但常常常会遇到一些问题，比如如何有效集成每种相机，采集数据与实时可视化？每种相机的多个设备又如何快速同时驱动采集？在车端应用场景中，如何对不同类型相机打上有效的时间戳？   针对这些难题，我们探讨了一种多源相机数据采集与算法集成测试方案。结合BRICKplus/BRICK2硬件采集平台与ADTF软件框架，可以快速集成多源相机并实现数据采集与算法测试。   图 2 BRICKplus/BRICK2   图 3 ADTF软件 软件方面，采用模块化的插件设计模式，集成了USB免驱相机，工业面阵相机和iDS以太网相机等SDK。对算法组件进行接口封装和测试结果输出。   图4 软件框架 对于不同类型的传感器，其数据采集流程大体包括打开设备、设置相机参数和格式、申请内存缓冲区、驱动视频流和图像循环采集等步骤。通过模块化的设计理念，将每种相机的采集流程都映射成一个组件，可以有效的对其进行各种参数配置。此外，在与可视化组件和存储组件进行数据连接，最终可实现多相机的快速集成与可视化采集。   图5 相机采集工程   图6 相机采集工程运行 三、应用案例分享 在软件界面右侧Streaming Source Details那栏中，可以点击Help，可以快速查看Usb Camera Capture组件的使用手册，包括环境准备，组件信息以及工程案例搭建使用。   图7 组件使用手册 比如，在MV Camera Capture组件的Properties栏中可以查看到组件配置的属性。可以设置相机的挂载结点，曝光时间，帧率以及图像采集模式。其中图像采集模式分为采集模式和灰度模式，MONO8为灰度图像，RGB8为彩色图像。   图8 2路相机采集工程   图9 2路相机采集工程运行 通过相机采集的数据与算法组件结合，可以进行算法的测试。比如，通过集成Usb Camera Capture组件、Face Detection组件、Qt5 Video Display组件和Qt5 Meida Description Display，可以快速实现一路相机采集与算法测试工程。   图10 人脸识别算法工程   图11 人脸识别算法工程运行 四、结语 多源相机数据采集与算法集成测试方案提供了一种高效、灵活的解决方案。通过BRICKplus/BRICK2硬件采集平台与ADTF软件框架的结合，能够实现多源相机的快速集成和数据采集，同时保证了算法测试的准确性和实时性。

发表了主题帖： 端到端已来，智驾仿真测试该怎么做？

一、前言 随着智能驾驶技术的发展，端到端的解决方案被越来越多的开发者提及，各大汽车企业争先恐后将端到端智驾方案部署到量产新车型上。过去，智能驾驶方案一直是按照感知、决策、规划、控制这类规则驱动（rule-based）的模块化方法推进，然而规则驱动的模块化方案存在“规则难以穷举、ODD边界模糊、扩展与维护升级困难”等局限性。因此端到端的学习驱动（learning-based）方案应运而生。   端到端的方案具有很多显而易见的优势，首先，它具备较强的泛化能力，可以通过数据发现潜在规律，适应多样化和复杂场景；其次，端到端可实现全面优化，学习驱动直接将输入（如传感器数据）映射到输出（如车辆控制指令），避免了模块化方案中的中间过程（如感知、决策和控制分离）可能导致的信息丢失或误差累积；此外，端到端可持续学习和升级，模型可以通过在线学习或周期性训练，不断吸收新数据，从而适应动态变化的环境需求，如更新的道路法规、复杂的新场景等。 图 1 自动驾驶传统模块化方案与端到端方案 可见，端到端智驾方案优势非常明显，但是对于仿真测试来说却是“灾难性的挑战”。过去模块化智驾方案中，感知与规控之间有显性接口。无论是SIL仿真还是HIL仿真，可以轻松绕过感知模块，直接对规控进行仿真测试（即使输入合成的低置信度图像或点云，也不对感知进行评测）。而端到端方案的到来，不再有所谓感知与规控接口，原有SIL或HIL仿真方案需要重构。面向端到端的智驾仿真必须从传感器输出数据切入，提供一种置信度高、一致性好、覆盖率全面、故障注入便捷的全链路闭环仿真方案。   我们探索了一种有效的端到端智驾仿真解决方案，在仿真引擎和数据传输上进行了大幅优化，以应对端到端带来的挑战，整体框架如图2所示。本方案充分利用了智能驾驶的中间件技术，将仿真引擎生成的传感器原始数据（部分为结构化数据）直接传递给智驾应用层，绕过了传感器硬件和驱动，缩短了仿真数据传输链路，规避了仿真系统开发过程带来的复杂适配与调试工作。大大缩短开发周期的同时，还显著降低了整个仿真系统的成本。 图 2 基于软件定义接口和中间件的闭环测试 二、XIL架构仿真 方案核心架构基于aiSim仿真器，采用XIL架构，并提供开放灵活的API接口，满足不同仿真测试需求。无论是传感器模型、车辆动力学，还是场景构建，都有对应的功能模组来实现。 图 3 aiSim XIL架构示意图 aiSim Air引擎支持如Raster、Raytrace等多种渲染方案，并兼容3DGS/NeRF等技术，能够在平衡渲染效率和置信度的同时，优化资源占用和数据传输效率。此外作为通过ISO 26262 ASIL D认证的仿真工具，aiSim能够在不同传感器和天气条件下提供完全的确定性和一致性。 图 4 Raster和Raytrace渲染支持 图 5 兼容三维重建场景 三、灵活先进的场景构建方案 此外，我们采用了多种先进的场景构建方案，极大地增强了测试的灵活性和广度。交互式图形化场景编辑工具支持OpenScenario和aiSim自定义的AimScenario两种场景格式，能够逐帧回放编辑过程。 图 6 图形化场景编辑工具 高斯泼溅渲染器（GGSR）则可以在3D重建场景中动态插入物体，优化环境条件，减少伪影，修复镜头下的非一致性问题。 图 7 非一致性修正 图 8 三维重建场景天气环境编辑 图 9 任意视角下多模态效果图 LogSim2WorldSim进一步通过云端自动化处理和分析原始数据，实现了基于EuroNCAP等法规场景的切片、预测试和回放功能。 图 10 LogSim2WorldSim方案转换流程 在完成场景构建后，通过VRU、建筑物、道路标志和天气等动静态元素，对场景的边缘条件进行探索，确保端到端测试全面覆盖。 图 11 场景泛化方案 四、高保真物理传感器模型 在传感器仿真方面，通过物理级相机、激光雷达和毫米波雷达模型等丰富模型库的支持，可以实现快速配置和参数调整。此外通过精准仿真HDR、高动态范围、动态模糊、曝光等不同的视觉效应，能够确保各种驾驶环境和天气条件下的高保真度测试。 图 12 相机模型镜头效应 图 13 镜头不同曝光次数下HDR图像 图 14 不同天气条件下镜头效果 激光雷达和毫米波雷达模型也能有效模拟不同天气条件下的传感器行为，为高效的多目标检测和车道线检测任务提供可靠数据支持。 图 15 激光雷达BRDF材质反射 图 16 雨雪天气激光雷达点云输出效应 图 17 激光雷达点云置信度验证 图 18 毫米波雷达点云 五、置信度与仿真结果分析 我们还对采用此方案的仿真结果进行了详细的验证。例如，在车道线检测任务中，aiSim仿真与真实世界数据之间的召回率一致，达到了98.45%的高准确率。多个目标检测任务的测试结果也表明，仿真与实际表现高度契合，尤其在近距离目标的检测中，召回率表现优异。 图 19 置信度测试1：车道线检测算法 图 20 置信度测试2：多目标检测 端到端智驾仿真方案还在多个测试环境中展现了出色的表现，包括实车静态和动态测试、车辆模型与动力学模型的集成，支持FMU接口快速接入第三方动力学模型。 图 21 动力学测量和建模 每次仿真结束后，系统会自动生成SQLite数据库文件，方便进行深入的分析和数据挖掘，确保测试结果的全面性和准确性。 图 22 测试结果可视化分析 六、应用案例分享 随着自动驾驶测试需求的日益复杂，基于aiSim为核心的端到端仿真方案凭借其易于扩展的特性，可以支持SiL/HiL等多种应用场景，并提供了与ROS2、Simulink、Matlab等系统的无缝集成。 图 23 基于DMA视频注入闭环测试方案及监测窗口 我们还尝试探索了专为GNSS集成域控制器、决策功能快速测试等场景的测试方案，进一步提高了测试效率，降低了硬件成本。 图 24 GNSS联合仿真方案 七、结语 本次介绍的端到端智驾仿真测试方案，以aiSim引擎和XIL架构为核心支撑，凭借其开放的接口设计、灵活的场景构建与测试功能，为自动驾驶技术的验证与优化提供了强有力的支持。无论客户面临的是提升测试效率的迫切需求，还是降低成本的现实压力，端到端智驾仿真测试方案都能帮助客户轻松应对自动驾驶测试中的种种复杂挑战，实现技术难题的快速解决。

发表了日志： 端到端已来，智驾仿真测试该怎么做？

回复了主题帖： 科研新体验：刘同学深度试用ADTF软件！

Jacktang 发表于 2024-11-20 07:29 ADTF相比同类软件的突出的优势是哪些 不好意思，让您久等了，ADTF的突出优势主要集中于以下六点： 1、数据记录与回放 支持视频、LiDAR、Radar等多元传感器数据库及车辆状态信息的记录，并提供精确回放功能，确保自动驾驶功能测试与验证的数据一致性和准确性 2、硬件集成 基于AUTOSAR和ASAM等标准，ADTF实现与多种车辆总线系统和传感器的即插即用集成，简化了硬件设备连接和数据交换 3、数据可视化 支持二维和三维的可视化，包括信号绘图、Qt、OpenGL和OSG的2D/3D可视化工具 4、测试与验证 集成模拟、原型制作和数据记录等多种工具，全面支持软件的测试、言验证和评估过程 5、后处理与模拟 支持深入的测试后数据分析和验证、确保算法和功能正确，同时提供模拟环境以在无硬件条件下测试软件组件 6、快速原型开发 ADTF SDK和开源组件支持自定义开发ADTF过滤器、服务器或独立应用程序，提供高度灵活性和定制化方案 非常感谢您的积极互动，如有其他问题，欢迎和我们随时交流呀~

发表了主题帖： 科研新体验：刘同学深度试用ADTF软件！

一、前言 作为一名高校的科研工作者，在高校的科研工作中，经常需要处理各种复杂的数据流，尤其是视频采集和处理的工作，对数据的实时性和精度要求非常高，我首次试用ADTF时，主要负责开发一个集成FFmpeg的Filter组件，处理摄像头采集的raw数据，并对其进行H264编解和解码。在这个试用的过程中，我对ADTF的初步体验是它的设计非常便捷，尤其是对于图像和视频数据的处理。 通过这次开发，我对ADTF的模块化设计、流数据传输机制以及其便捷的开发环境有了更加深刻的认识。接下来，我将从多个角度详细分享我的试用体验，内容涵盖ADTF的优势、工作流程中的亮点，以及未来展望等方面。 二、ADTF的用户界面与灵活性 在打开ADTF时，我觉得其直观的GUI设计非常的友好。作为一名高校科研工作者，我们通常需要频繁的调整实验配置、切换不同的开发场景，而ADTF的界面布局使得这些操作变得十分便捷。其工具栏、Component、Sessions管理以及快捷命令栏的存在，极大的优化了工作的流程。能够在搭建工作流时，迅速的找到所需要的工具和组件，并轻松的管理多个实验配置，这在需要进行多项实验的科研工作中尤其重要。 ADTF的模块化设计使我能够快速自由的组合各种组件，构建适合具体科研需求的工作流。例如，我能够通过ADTF提供的Store模块，轻松地管理不同的数据流和实验配置。这种灵活性对于需要快速迭代实验和算法验证的科研工作来说非常有利。       三、便捷的组件开发 我在ADTF中开发的Filter组件，集成了FFmpeg进行H264图像数据编解码，这使得我能够处理摄像头采集的raw数据。ADTF提供了标准的图像数据流定义，使我可以快速上手，并通过自定义的数据流类型进行数据的高速传输。让我印象深刻的是，ADTF允许我创建自定义的流类型，并将编码后的视频数据发送至下一个Filter进行解码。这种模块化的设计对于处理复杂的多步数据流非常有帮助，尤其是在处理视频和音频等连续数据时。 ADTF的流数据传输机制非常稳健，特别是在高速数据吞吐情况下，它依然能够保证数据的完整性和及时性。例如，当我处理大规模视频数据时，ADTF通过其文件的流数据传输体系很好地管理了数据流的传输，确保没有出现数据丢失的现象。这一点在要求高精度的场景下，ADTF的表现非常好。 此外，ADTF的组件开发过程也充分展示了其灵活性。在开发Filter组件时，ADTF中可以自定义流类型，不仅能与标准化的数据流兼容，还能针对特定需求自己定义。通过这种方式，我可以轻松的将编码后的视频数据传输至下一个解码或者处理视频数据的组件，实现多步数据流处理。在整个开发过程中，我清晰地感受到了ADTF模块化设计所带来的便利，它允许我根据不同的实验需求进行自由组合和扩展。       四、丰富的工具箱和组件 ADTF还有一个非常好的亮点是它丰富的工具箱。我在开发组件的过程中直接使用了ADTF自带的Windows摄像头驱动采集数据，避免了繁琐的硬件配置。此外，ADTF还提供了Qt以及foxglove等显示组件，使我能够实时监控摄像头捕获的视频流，很大程度上方便了我的开发和测试。这种预制组件的存在大幅度缩短了开发时间，我可以把更多的精力集中在数据处理的核心逻辑上。 在科研项目中，快速的验证新算法和新想法是我们的日常工作。ADTF通过大量现成的组件，帮助我们在短时间内可以搭建一个完整的测试环境。例如：我可以迅速继承已有的摄像头采集组件，并通过简单的操作和配置就可以完成视频流的显示和存储。这种集成工具的便利性是在科研工作中快速迭代优化的重要支撑。     五、外部库与ADTF完美结合 在科研项目中，大部分的功能需要依赖外部库，比如OpenCV、FFmpeg…，在这次的开发过程中，我通过FFmpeg对摄像头采集的raw数据进行H264编解码。ADTF的开放性和模块化使得FFmpeg的集成过程十分顺畅，通过Filer组件可以轻松调用FFmpeg的功能，将raw数据进行编码，并在解码阶段还原数据进行显示。 FFmpeg强大的视频处理能力与ADTF的稳定数据流传输机制相结合，使我能够达到项目中要求的实时数据处理。通过把FFmpeg集成到ADTF中，我能够以较低的系统资源消耗完成高效的视频编码和解码，还可以在我设计不同的试验方案时，快速的帮我搭建适合试验方案要求的工作流。ADTF与FFmpeg的结合组件展现了非常出色的扩展性和稳定性。 六、未来展望 通过对ADTF的使用，我认为ADTF为高校的科研人员提供了一个强大的数据处理和开发平台，ADTF在处理大规模数据流、视频数据编解码等领域具有极大的潜力。这种模块化设计使我们能够轻松定制复杂的工作流程，特别是在处理多个传感器数据和视频流时，ADTF提供了极高的灵活性。 在未来对ADTF的使用中，我将会进一步探索ADTF在自动驾驶、智能交通系统等领域的应用，并希望能够看到它在数据处理和算法开发中的更多突破。

发表了日志： 科研新体验：刘同学深度试用ADTF软件！

回复了主题帖： 确保AD/ADAS系统的安全：避免数据泛滥的关键！

Jacktang 发表于 2024-11-16 09:26 看来合适的架构作为处理流程的基底还是很重要的 是的，非常有必要，欢迎关注，多多讨论，一起进步！

发表了主题帖： 确保AD/ADAS系统的安全：避免数据泛滥的关键！

本帖最后由 康谋自动驾驶 于 2024-11-12 10:12 编辑 为确保AD/ADAS系统的安全性，各大车企通常需要收集、处理和分析来自于摄像头、激光雷达等传感器的数据，以找出提高系统安全性和性能的方法。然而在数据收集过程中，不可避免地会出现大量无价值数据，造成数据泛滥的情况，进而影响数据的分析处理进程。为此，本文将为大家分享如何通过合适的指标及分析工具，实现数据的高效管理、解读和正确分析，以避免数据泛滥的不利影响！ 一、现有问题 对于汽车制造商来说，确保AD/ADAS系统的安全性通常需要收集大量数据。为了开发、验证和改进自动驾驶系统，流程通常是相同的：在各种条件下反复进行驾驶测试，累积大量里程。 这些来自不同来源（摄像头、GPS、激光雷达、仿真等）的驾驶日志随后会被处理和分析，以找出提高系统安全性和性能的方法。由于涉及大量传感器、众多不同的使用场景以及大量的行驶里程，需要处理的信息量会迅速呈指数级增长。 面对如此大量待处理的信息，很容易让人感到不知所措。收集到的很多内容可能毫无用处（设想开车行驶的数千公里却什么有趣的事情都没发生），而且在这个过程中，一些信息可能会丢失或损坏。此外，仅收集数据是不够的。这些数据需要被管理、解读和正确分析。数据池越大，这个过程就越痛苦和昂贵。 二、避免数据泛滥的2个关键 1、关键点1 – 通过指标和算法聚焦于相关发现 第一个关键点在于一个简单的原则:必须尽可能减少数据池,只保留最相关的信息。内容越少,处理和分析越快。此外,专注于更小的有效信息集合可以降低存储成本和维护负担。 为了减少初始内容池,可以创建有用的信息块，或者说"指标（metrics）",以更简短和有意义的方式总结和描述它。这些指标可以根据使用案例指代多种事物：统计数据、事件或甚至场景。一旦它们与业务需求对齐，就有必要通过适当的算法生成。     设想一下您正在努力提高新车辆的安全性和舒适性。具体来说,您正在试图了解如何减少车辆进行危险紧急制动的情况,即车辆突然刹车导致乘客不适，并构成潜在安全隐患的情况。与其手动检查历史驾驶记录去找到这些情况,不如构建一种算法来完成这项工作。 例如，遍历驾驶测量数据,计算车辆的减速度,并标记超出您定义的舒适限度的时刻。此外,该算法还可以计算其他参数,如与其他车辆的距离,以了解发生这种情况的原因。一旦初始数据已根据所选指标进行标记,您就可以将精力集中在这些上面。 2、关键点2 – 使用全面的分析工具可视化见解 经过了关键点1，最初的原始数据池就被压缩成了少量的相关内容。它们需要被可视化、分析和共享,以便能够用于新车辆、传感器或软件的开发或验证。所有这些都可以通过联系发现与强大的分析平台来完成。 这是一个可以汇总所选指标并控制信息流的集中点。根据具体情况,有许多可视化检查的例子:分析地图上近处的碰撞事故、在时间序列图上提取切入场景、可视化相机图像上消失的物体等。好用的可视化也有助于分析,并允许生成可以跨团队或任何利益相关者共享的报告。 为了说明这一点,让我们继续以上一节中描述的安全和舒适性为例。一旦找到您初始驾驶日志中所有感兴趣的紧急制动情况,就可以理解它们是如何以及更重要的是为什么发生。一种解决方案是在地图上显示这些情况,并绘制相关车辆和周围障碍物的信息。然后可以将这些发现传递给相关团队,进而改进系统。   三、小结 总而言之，为了从收集的数据中获得最大收益,需要将其归纳为有用的指标,然后在一个强大的分析工具上显示这些指标,以便于可视化和共享。要实现这些，需要拥有一个合适的架构作为处理流程的基底,使算法和工具能够顺利运行。

发表了日志： 确保AD/ADAS系统的安全：避免数据泛滥的关键！

发表了主题帖： 高效环境感知：毫米波雷达数据采集、可视化及存储方案

随着自动驾驶技术的快速发展，自动驾驶的研发逐渐形成一整套的流程，包括数据采集，清洗标注，算法训练，仿真测试到量产等各技术环节。通过复杂的步骤从原始数据中提出高价值的信息，其中对原始数据的精准采集是实现车辆环境感知的基石。毫米波雷达因其出色的测距、测速能力以及对恶劣天气的鲁棒性，成为不可或缺的传感器之一。 本文将以4D毫米波雷达ARS548为例，分享毫米波雷达如何快速实现数据采集，可视化及存储策略。关于毫米波雷达的特性可进一步了解文章《毫米波雷达技术解析》。 一、ARS548毫米波雷达概述 ARS548是 4D高分辨率成像毫米波雷达（4D High Resolution Radar），如图1所示。它能够有效的测量距离（Range），速度（Velocity），水平角度（Azimuth）和俯仰角度或高度（Elevation）四个维度的信息，具备感知目标三维空间位置能力。具备以下特性： 图1：ARS548（图片来源于网络） 1. 探测距离与视场角：最大探测距离可达300米，水平视场角为±60°，垂直视场角为±4°至±14°。 2. 数据输出：支持最多800个Detection和50个Object的同时输出，测量周期为50ms至100ms可调。 3. 接口：采用100 BASE-T1接口，支持通过车载以太网转换器与标准以太网设备进行通信。 4. 通信协议：数据通过UDP协议传输，使用多播地址方式进行数据传输。 二、硬件集成 为了能快速采集到毫米波雷达的数据，需要对其进行硬件集成与连接，如图2所示。 图2：Radar 硬件连接方案 以同时连接3个毫米波雷达为例，整个系统均支持12V的供电运行，可快速实现各设备稳定供电运行。在数据链路采集上，需要将车载以太网接口的数据转换到标准以太网，这一转换过程涉及以下步骤： 1. 网口转换：使用如康谋NETLion100转换器，将车载以太网信号转换为标准以太网信号。NETLion100集成了网络分线器(Tap)和双介质转换器于一身，支持BroadR-Reach®网络信号与100BASE-TX以太网之间的双向转换，并提供LED信号实时显示数据传输质量，可快速进行数据转换和分析。 2. 数据传输原理：雷达数据以UDP包的形式发送至指定的多播地址，康谋BRICK plus设备通过网络接口接收这些数据包。BRICKplus提供广泛的接口支持多个传感器同时连接，实现高带宽数据的采集、处理和记录。 3. 采集与监控：在BRICK plus端，可以使用Wireshark等网络分析工具来捕获和分析从雷达发送的数据包，检查数据包是否正确传输。 三、软件开发 为了采集到毫米波雷达输出的点云数据，需要理解数据的传输形式并能够实时解析。具体来说需要解决如下的问题： 1. 数据采集：实时从ARS548雷达获取原始数据，这要求系统能够与雷达硬件接口进行高效通信，并且能够处理高频率的数据流。 2. 数据解析：将原始数据转换为可读的格式，如目标的距离、速度和角度。需要对雷达数据包进行解码，并提取出有用的信息。 3. 数据可视化：将解析后的数据以图形化的方式展示，便于分析和监控。需要实时更新数据显示。 ROS提供了模块化的节点系统，便于管理和扩展。每个节点可以独立开发和测试，使得系统的整体复杂性得到有效管理。十分契合我们对问题的拆解以及功能节点的完成。此外采用ROS的发布/订阅模型可以实时采集传输的雷达数据。 对于单个毫米波雷达的采集，解析和可视化，可以通过在ROS中对应创建3个节点来实现。3个节点分别负责Radar设备接收UDP数据，解析并发布ROS消息，以及将雷达检测和对象信息转换为可视化Marker消息。 针对3（多）个毫米波雷达的同时采集，我们采用每个节点同时发布和订阅多个topic数据实现同时采集和传输。并且为了实现多个雷达数据的同时显示，采用Foxglove进行可视化呈现，呈现效果如图3所示： 图3 ：Radar 可视化 随后，采用ROSbag进行数据存储，能够确保数据的完整性和准确性。 四、总结 通过集成高性能的硬件设备和采用ROS框架，实现了毫米波雷达数据的高效采集、实时处理和直观可视化，同时支持多雷达系统的数据同步采集和存储，提供了一个稳定、灵活且可扩展采集方案。

发表了主题帖： 康谋分享 | AD/ADAS的性能概览：在AD/ADAS的开发与验证中“大海捞针”！

本帖最后由 康谋自动驾驶 于 2024-10-22 09:47 编辑 如果您希望从数百万小时的驾驶数据中查找特定的相关驾驶事件和未遂事故，以确保您的所需功能正确运行，最好的方法就是创建一个系统性能的概览分析，实现在数据日志中快速检索关注点。为此，康谋在本文将为您详细介绍IVEX的智能概览功能，助力AD/ADAS的开发与验证！ 一、AD/ADAS性能概览的重要性 为了开发、演进、测试和验证自动驾驶（AD）功能或自动驾驶辅助系统（ADAS），各大企业都在生成数千小时的包含仿真或真实世界的驾驶数据日志。那么，如何才能知道自身的AD/ADAS系统是否始终按要求运行？是否朝着更好的表现发展？   对“脱离”AD/ADAS模式的情况进行分析是一种常见的方法。这有助于了解系统失败的“原因”，而后可对表现不佳的地方进行分组，提供一个概览以确定纠正这些失败的优先顺序。然而，“脱离”分析仅涵盖“已知”的不当行为，对于边缘/极端情况该如何处理？更重要的是，对于险些发生的事故如何处理？   例如，由于一个错误检测或者说“幽灵检测”，白色的自车认为它将与车辆1发生碰撞，因此决定执行变道操作，如图1所示。幸运的是，由于自车的左车道是空的，该操作是可行的，否则就可能会由于自车的急刹车而导致与车辆4发生追尾事故。 图1 追尾未遂 这种更深入、更有成效的分析也与ISO 21448（SOTIF）所提出的过程相匹配，以识别在某些不利触发条件下系统可能会表现出的局限性、弱点与干扰，而这些都可能导致事故或相关意外事件的发生。   如果能够提供AD/ADAS系统性能的概览，工程师就可以迅速在结构化分析中定位所有相关的事件或条件，例如： （1）数据日志中出现了哪些未遂事故？ （2）系统在哪一个操作域（OD）表现不佳，原因是什么？ （3）开发是否正朝着更好的表现方向发展？ （4）是否应该修改功能需求，以便流畅且充分地与现实世界交互？ （5）功能是否满足了指定的需求？   因此，为了开发和验证AD/ADAS系统，需要有效地识别、分析并了解所有可能的未遂事故、性能不足或触发条件，这些都对AD/ADAS系统构成了挑战。然而，当前高度依赖人工的技术手段如同“海底捞针”，在数百万小时的驾驶数据中几乎难以发现目标。 二、康谋IVEX智能概览  为了整理驾驶数据并找到那些重要的“针”，康谋IVEX通过使用特定的安全和关键绩效指标（SPIs，KPIs），即根据采集/模拟驾驶数据汇总的“指标（metrics）”，以创建系统性能的最佳概览。 1、利用指标整理驾驶数据 由于采集数据的非结构化特性和不断变化的动态交通环境，整理驾驶数据存在巨大挑战。我们设定了3个主要指标类型来整理数据：传感器与感知指标、行为指标、舒适度指标。   第一层是传感器与感知指标。它们是自动驾驶汽车与环境的初始接触点，表示系统对周围环境的感知程度，有助于在开发的早期阶段突出性能不佳的情况，例如误报对象检测、车道线提取失败等。   第二层指标关注AD/ADAS系统采取的控制和行为动作。例如，对于自动紧急制动（AEB）系统，需要检查制动信号是否在正确的时间触发，进而产生更好的减速。   第三层指标是指乘客可能体验到的舒适度。例如，为了验证自动车道保持辅助系统（ALKS），可以测量车辆产生的任何会给乘客带来不适的摆动行为。   根据待测的AD/ADAS功能确定了哪些指标是感兴趣的之后，就可以有效地开始整理数据。除了前面的例子，指标还可以是跟踪感知物体尺寸、检查检测到的车辆边界框是否分裂或合并、监测与其他交通元素的前后距离和横向距离、预测潜在碰撞以及评估检测到的车道标识质量。IVEX软件也允许工程师通过简单的编程API包含他们自己的定制指标。 2、创建合理且可观的概览 当使用选定的指标整理好记录的驾驶数据后，如何在所有的数据中找到所需的“针”？在IVEX中，我们创建了一个优化的流程来高效处理所有驾驶数据日志。   我们汇总了所有的测量结果，提供了一个基于指标的清晰组织。此外，由于当前的L2+ ADAS系统受限于运行设计域（ODD），例如ALKS仅适用于车速低于60公里/小时的高速公路场景。我们根据ODD对分析进行切分，以便于简化搜索空间。所有结果被汇总并呈现在一个简洁、可定制的界面中，只需单击三下即可“大海捞针”，详细检查特定的驾驶场景。   现在，我们可以观察整理得到的数据结果，如下图所示。这些结果是对所有数据日志的全面汇总，并以简单但具有指导性的方式展示。每个指标的结果显示在每一行上，而ODD则显示在列中。在每个单元格内呈现的是相应指标与ODD组合的违规率。 图2 聚合分析 举个例子，假设我们正在分析城市环境中驾驶系统的舒适性：   在一次点击中，我们选择了“低速”ODD（小于15公里/小时）下的“急刹车”指标。   接下来,我们看到的是在所选择的ODD内,所有分析的数据日志中施加的制动减速度分布情况。如果要求规定施加的制动减速度应小于4米/秒²，那么可以立即看到有0.06%的情况未能满足这一要求。通过第二次点击，就可以选择特定的制动范围（分布中的列）来分析特定的事件/情景。 图3 智能概览访问特定记录数据流程示意图 而后，工程师就可以直接访问确切时间戳的特定记录数据，观察完整情况并获得有关问题的额外见解。 三、结论 本文案例中，IVEX可以从69小时的驾驶日志中准确筛选出会令乘客非常不舒适的特定急刹车事件（减速度超过4米/秒²），展示了一种非常简单工作流程。除了能够帮助工程师在几秒钟内从大量数据中找到相关事件，IVEX还提供可用于根据SOTIF和UL4600进行安全论证的报告。   简而言之，IVEX可以助力于实现： 1、整理海量数据日志并从中识别特定事件 2、识别需要添加为SOTIF分析一部分的触发条件 3、跟踪AD/ADAS系统在不同迭代中的演变，以展示系统改进的论据，并为UL4600文档提供具体的支持。