发表了日志： 本地匿名化解决方案：隐私保护、自主掌控和高效运行！

发表了主题帖： 本地匿名化解决方案：隐私保护、自主掌控和高效运行！

数据隐私与安全在当今数字化时代占据着举足轻重的地位。在应对数据保护法的复杂要求和网络攻击的威胁时，大多数企业都面临着重重挑战，因此诸多企业对可靠、可扩展且安全的数据管理解决方案的需求愈发迫切。 正是在这一背景下，康谋精心打造了本地匿名化一站式解决方案，该方案将隐私和安全作为其核心设计原则，旨在助力企业以信心和效率从容应对当今复杂多变的隐私和安全需求。 一、本地匿名化解决方案 该解决方案巧妙地利用Terraform部署技术，能够在自有集群中实现灵活的自动扩展。无论数据处理需求是在多个服务器的GPU和CPU上运行，还是涉及到复杂的数据架构，系统都能确保在部署后的第一时间进行自动扩展。这一特性不仅确保了数据处理的高吞吐量，而且提供了高效管理跨多样基础设施的复杂数据的途径。 二、方案优势 1、隐私与安全保护 本地部署为处理敏感数据提供了最为安全且合规的环境。通过在用户自己的基础设施中托管匿名化处理过程，用户可以全面掌控数据，确保严格遵守最严格的数据保护法规。 无论是需要持续处理小批量数据，还是偶尔处理海量数据，该解决方案都能迅速响应，根据需求动态扩展到数百台GPU和CPU机器，或在不必要时迅速缩减，以有效控制成本。此外，方案还支持许多平台上的Spot Instance，为灵活资源分配提供更多选择。 2、灵活性与控制力 本地匿名化解决方案与数据管理和处理流程紧密集成，可以提供无与伦比的灵活性。用户可以自由配置资源，并根据需要授予不同业务部门访问权限。 这种高度独立且动态的运营模式，助力更加灵活多变的数据处理能力，从而满足不同场景下的需求。 3、离线解决方案 本方案还提供了一种独特的离线解决方案，无需与外部服务器持续通信，这一特性不仅提升了安全性，而且确保在最严格的隐私和合规要求下仍能稳定进行各种操作。比如，即使在网络受限或敏感信息不能外泄的场景下，也能顺利完成数据处理任务。 三、应用案例 本地匿名化解决方案具备云无关性，以应对具备多样性的客户基础设施。无论用户的系统托管在亚马逊网络服务（AWS）、谷歌云、阿里云还是其他任何云平台上，本平台都能无缝集成，提供同样卓越的服务和可扩展性。 这种广泛的兼容性让用户的数据处理更加灵活便捷，无需担心因平台限制而影响部署。 本地匿名化解决方案已被欧洲多个行业领导者广泛采用，如CARIAD、大众（VW）和德国铁路（Deutsche Bahn）等。客户们通过使用本地匿名化解决方案，成功地在短时间内完成了数千小时视频的匿名化处理，验证了平台处理庞大数据集的卓越能力和高效性。 四、总结 综上所述，本地匿名化解决方案为企业的数据管理、安全保障和利用带来了革命性的变化。通过提供可扩展、安全且高效的平台，该方案能够确保企业能够全面遵守数据保护法规，同时提升运营灵活性，并优化运营效率，为您的业务发展奠定坚实的基础。

回复了主题帖： 深度自然匿名化：隐私保护与视觉完整性并存的未来！

hellokitty_bean 发表于 2025-1-15 16:40 DNAT就是AI fake。。。。。。。。。。不过，只要能还原，能可控，是不是可以？待探讨 DNAT不能被还原，这也是它安全性保障的关键，所以还是非常可靠的

回复了主题帖： 深度自然匿名化：隐私保护与视觉完整性并存的未来！

秦天qintian0303 发表于 2025-1-14 21:41 这个主要是环节太多，怎么保证数据的绝对安全又快速是个问题 是的，一定程度上会存在这个问题，但DNAT能够根据项目的需求去灵活部署，保证速度，安全性的问题来说，DNAT目前还是非常可靠的，能够保证不被还原

回复了主题帖： 深度自然匿名化：隐私保护与视觉完整性并存的未来！

wangerxian 发表于 2025-1-16 16:53 一般什么情况下会用到这个？隐私直接打码不行吗？ 和深度自然匿名化一同的产品，也有精准模糊，全身模糊技术。但肯定深度自然匿名化是更深入一点的技术，具体选择的话也是根据不同项目需求选择使用哪种技术的

回复了主题帖： 深度自然匿名化：隐私保护与视觉完整性并存的未来！

吾妻思萌 发表于 2025-1-16 10:22 哎国内gpt别的不说，近期在用就发现用了防浏览器指纹的插件会和起web冲突，没办法要用只能把隐私泄露给他， ... 哎是的，网上数据更难保证了，现在数据泄露太严重

回复了主题帖： 深度自然匿名化：隐私保护与视觉完整性并存的未来！

wangerxian 发表于 2025-1-16 16:53 一般什么情况下会用到这个？隐私直接打码不行吗？ 有些情况下，需要利用图像或者视频的一些细节信息（如年龄、情感、视线方向、种族和年龄信息），进行更具体的研究分析，比如分析人的情绪，状态，反应，满意度等等，直接打码的话是无法保留这些关键属性的。深度自然匿名化就很好的保留了视觉完整性，有利于一系列的开发活动

发表了日志： 深度自然匿名化：隐私保护与视觉完整性并存的未来！

发表了主题帖： 深度自然匿名化：隐私保护与视觉完整性并存的未来！

在科技迅速发展的时代，保护个人隐私的需求日益增长，有效匿名化技术的重要性不容忽视。无论是针对敏感的图像、视频，还是数据，在隐私保护与保持视觉完整性之间取得平衡至关重要。虽然模糊化一直是匿名化的常用选择，但一种更复杂、更强大的方法——深度自然匿名化（DNAT）——已经成为一种更优的替代方案。 一、深度自然匿名化（DNAT）的优势 1、保留上下文信息 （1）模糊技术的局限：模糊处理的主要缺点之一是上下文信息的丢失。当图像或视频严重模糊时，当图像或视频被严重模糊化时，重要的视觉线索和细节可能会被扭曲或完全不可辨认。 （2）DNAT的优势：DNAT利用先进的算法，有选择性地修改图像或视频中的特定元素，同时保留整体上下文。例如，通过brighter AI的DNAT技术在匿名化人脸时，公司可以保留关键属性，如年龄、情感、视线方向、种族和年龄信息。这确保了匿名化内容仍然具有可理解性，并保持其原始的视觉完整性。 2、真实且美观的效果 （1）模糊技术的局限：模糊化通常会导致粗糙且不自然的外观，从而影响内容的理解和用户体验。 （2）DNAT的优势：DNAT借助深度学习技术，能够生成更加真实且美观的匿名化内容。通过分析原始数据并在大型数据集上进行训练，该算法学会模拟图像或视频中的自然变化，生成的匿名化结果能够与周围环境无缝融合。这种真实性的效果确保了匿名化内容不会具有误导性。 3、增强隐私保护 （1）模糊技术的局限：尽管模糊化可以提供基本的隐私保护，但面对先进的图像还原技术可能并不足够。有经验的人员可以使用去模糊算法或其他工具逆向处理，恢复敏感信息。 （2） DNAT的优势：DNAT显著提高了逆向匿名化的难度。通过以更复杂和细致的方式处理内容，深度学习模型提供了更高水平的隐私保护，确保原始信息无法轻易恢复。 4、可扩展性和自动化 （1）模糊技术的局限：模糊化处理可能是一个耗时的过程，特别是在处理大型数据集时。为视频的每一帧或多张图像逐一应用和调整模糊效果所需的手动操作既繁琐又不切实际。 （2）DNAT的优势：DNAT则可以实现这一过程的自动化。一旦模型完成训练，它便能够高效地匿名化海量数据，使其在需要大规模匿名化的场景中更具可扩展性和成本效益。 5、适应性和可定制性 （1）模糊技术的局限性：模糊化技术通常会对整个图像或视频应用统一程度的匿名化，而不考虑具体的隐私需求。 （2）DNAT的优势：DNAT则提供了更高的适应性和可定制性。模型可以根据不同的隐私需求进行微调，从而实现对图像或视频中特定区域或对象的选择性匿名化。这种灵活性使得匿名化过程能够得到精确控制，并确保隐私问题得到有效解决。 6、展望未来 （1）模糊技术的局限性：模糊化会删除数据，在需求出现时仅能提供极少可用数据。 （2）DNAT的优势：由于能够保留语义分割，DNAT通常是公司首选的匿名化技术，这使其成为适合驾驶分析和机器学习的匿名化方法。因此，它已成为依赖分析和机器学习的企业首选的匿名化解决方案。我们坚信未来准备的重要性，并优先选择DNAT而非其他匿名化技术。 二、总结 随着隐私问题的日益增长，对强大而有效的匿名化技术的需求变得至关重要。如今，许多公司需要明智地选择合适的匿名化供应商。尽管模糊化曾是一个广受欢迎的选择，但深度自然匿名化（DNAT）的出现彻底革新了这一领域。 通过保留上下文信息、呈现真实效果、增强隐私保护、实现可扩展性以及提供适应性，DNAT被证明是传统模糊化方法的更优替代方案。其复杂的算法和深度学习能力为隐私与视觉完整性和谐共存的未来铺平了道路。  

发表了主题帖： 康谋技术 | ADTF: 助力自动驾驶系统开发的强大工具箱！

本帖最后由 康谋自动驾驶 于 2025-1-9 11:17 编辑 在过去十年中，自动驾驶和高级驾驶辅助系统（AD/ADAS）软件与硬件的快速发展对多传感器数据采集的设计需求提出了更高的要求。然而，目前仍缺乏能够高质量集成多传感器数据采集的解决方案。   ADTF正是应运而生，它提供了一个广受认可和广泛引用的软件框架，包含模块化的标准化应用程序和工具，旨在为ADAS功能的开发提供一站式体验。 一、ADTF的关键之处！ 无论是奥迪、大众、宝马还是梅赛德斯-奔驰：他们都依赖ADTF来开发智能驾驶辅助解决方案，直至实现自动驾驶的目标。从新功能的最初构思到批量生产的准备，为每一行代码编写奠定了基础。   ADTF软件框架在汽车行业中扮演着至关重要的角色，主要体现在以下几个方面： 1. 最大数据吞吐量：确保在高负载情况下依然能够高效处理和传输数据，为自动驾驶系统提供实时反馈。 2. 高性能实时数据分析：支持复杂算法的实时运行，提升决策精度，增强自动驾驶的安全性。 3. 提高算法测试效率：简化测试流程，缩短开发周期，加速产品上市。 4. 即插即用的通用接口和总线：简化硬件集成过程，促进不同设备之间的兼容性，降低系统复杂性。 5. 硬件组件之间的高效通信：确保不同平台上的所有硬件组件能够无缝协作，提升系统整体性能。 6. 集成开源软件：通过开源解决方案，促进分布式系统的配置与管理，提升灵活性和可扩展性。 7. 广泛的开源文件库：支持在FEP、RTI-DDS和ROS2等平台上离线读取、写入和处理数据流，便于数据的共享和再利用。 8. 多语言SDK支持：C++/JS/QML SDK为客户提供扩展功能的灵活性，使得软件组件可以在各种仿真集和测试设置中多样化应用。 9. 云（后）处理工具的构建：使开发者能够创建高度可扩展的自动化解决方案，满足未来需求。 10. 遵循汽车标准：支持CAN、CAN FD、FlexRay、XCP、Some/IP、汽车以太网/Autosar等标准，确保产品的兼容性和行业适应性。 二、ADTF的魅力所在！ （1）用于解码AUTOSAR描述的车辆数据总线系统的工具 作为测量技术的强大合作伙伴，基于ADTF（高级驾驶技术框架）的ARXML解释器已经被梅赛德斯－奔驰、奥迪、博世和大众等汽车制造商广泛使用。在现代车辆中，所有电子控制单元（ECU）相互连接，形成一个称为数据总线系统的网络。   随着车辆技术的发展，数据总线系统越来越多地依赖于ARXML数据库。ARXML是一种用于描述ECU之间通信信息的格式，包括信号、帧（数据包）和时间顺序等信息。 ARXML解析器插件由Device Toolbox中的总线服务实例化，这意味着它作为一个工具，可以扩展解析和加载信号数据库的功能。它们充当不同数据库之间的桥梁，并向Device Toolbox提供关键信息。   ARXML解析器引擎能够快速解析这些ARXML数据库，将所需信息传递给解析器插件。该插件支持多个通信协议和标准，具体功能包括： 1. 消息和信号的编码与解码：能够处理CAN（控制区域网络）和CAN FD（灵活数据速率）消息和信号的格式。 2. 多路复用信号处理：可以在一个消息中同时传输多个信号，从而提高数据传输效率。 3. FlexRay通信的时间调度：支持FlexRay协议中的时间管理，可以在不同的通道（A通道和B通道）中进行输入输出操作。 4. FlexRay帧和协议数据单元的处理：能够解析和转换FlexRay帧（数据包），并支持大端序和小端序（不同的字节序列存储方式）。 5. 信号处理策略：支持单调计数和锯齿计数的方式，以及对信号位的递增、递减和排序操作，处理多路复用的协议数据单元。   通过这些功能，ARXML解释器能够有效地管理和处理现代车辆中的复杂通信需求，确保各个ECU之间能够顺畅地交流，从而提升车辆的整体性能和安全性。 （2）将功能工程平台（FEP）集成到ADTF中 功能工程平台（FEP）是一个免费提供的开源中间件，旨在简化分布式系统的开发和管理。通过将FEP集成到ADTF（高级驾驶技术框架）中，ADAS（高级驾驶辅助系统）开发人员可以克服许多设置和管理分布式系统的挑战，同时仍能享受到ADTF提供的高性能实时数据管理和验证功能，包括记录和回放测试数据。   使用ADTF配置编辑器，开发人员可以轻松配置分布式系统。这使得以简单的方式体验复杂的仿真、测试和验证架构成为可能，无论是在个人电脑上运行，还是在可扩展的云环境中操作。这样，开发人员可以更加高效地进行ADAS功能的测试和快速原型设计，从而加快技术的开发进程。 （3）自动可视化和评估测试用例的机载分析工具 Supertester是一款用于自动化可视化和评估ADAS（高级驾驶辅助系统）功能测试用例的机载分析工具。它通过直观的用户界面，自动采集和控制测试过程，帮助测试管理人员避免因执行错误或未遵守规定参数而产生的挫败感。这样，Supertester能够提升ADAS功能测试的安全性，同时显著节省时间和成本。   在测试执行中，Supertester自动监控测试过程和系统状态，确保所有测试参数都符合规定。测量数据会被实时记录，并可以用于引导测试程序。Supertester提供的主要服务包括： 1. 引导测试和实时分析：为用户提供直观的操作指导，并实时分析测试结果。 2. IS029119一致性测试：确保测试符合国际标准的要求。 3. 整体测试文档：生成全面的测试文档，便于后续查阅和管理。 4. 通用接口：与测试管理系统进行数据交换，方便信息共享和协作。   测试结果的特点包括： · 上传测试结果：用户可以方便地将测试结果上传至系统。 · 可视化评估：清晰展示驾驶操作和相关测试结果的可视化信息。 · 即时反馈：测试执行后，用户能够立即获得测试结果。 · 完整的环境数据：上传所有必要的测试环境数据，确保结果的可靠性和准确性。   通过这些功能，Supertester大幅提升了ADAS功能测试的效率和可靠性，使测试过程更加顺畅。 三、总结 综上可知，ADTF是一个模块化、标准化的软件框架，广泛应用于ADAS和自动驾驶功能的开发。它通过高效的数据吞吐量、实时数据分析和多传感器集成能力，加速算法测试和产品开发。ADTF同时也支持多种汽车通信标准（如CAN、FlexRay、Autosar等），并提供即插即用的接口，简化硬件集成。   此外，其ARXML解析器支持复杂车辆通信数据的解码，确保ECU间高效通信；FEP中间件的集成则优化了分布式系统的开发与验证；Supertester工具进一步通过自动化标准测试和实时分析提升ADAS测试的安全性与效率。   总体而言，ADTF为智能驾驶开发提供了高性能、灵活性和可靠性的全方位支持，成为行业中不可或缺的解决方案。

发表了日志： ADTF为何能赢得奥迪、博世等巨头的青睐？

发表了主题帖： 如何应对ADAS/AD海量数据处理挑战？

随着软件定义汽车的发展，车辆生成的数据量也以前所未有的速度不断增加。这些数据包含广泛的信息，包括传感器数据、遥测数据、诊断数据等。在开发过程中，有效处理这些数据并从中获得见解至关重要。   对于原始设备制造商（OEM）和汽车一级供应商（Tier 1）来说，是否自主构建和维护数据处理流程是一个至关重要的考虑因素。数据处理流程是应对当下软件定义汽车所产生的海量数据的基础组件。 一、问题背景 在 AWS 等云平台上为高级驾驶辅助系统 （ADAS） 和自动驾驶 （AD） 数据构建鲁棒的数据处理流程，通常需要全面了解各种服务及其集成。您可能使用的特定服务可能取决于应用程序的要求、数据源和处理需求。 为了解决这一问题，康谋通过使用IVEX提出了专门用于应对ADAS/AD海量数据的数据处理流程。该流程的核心目的是自动从原始传感器数据等输入中识别出值得关注的事件和场景。构建这样的数据处理流程需要仔细考虑各种技术方面，例如：原始传感器数据的云端存储、基于原始数据的算法执行（包括需要例如GPU等特定资源的机器学习算法）、事件和场景等后处理数据的存储机制、算法版本控制、结果可视化以及确保数据仅对授权用户可见。 二、内部构建或获取预组装解决方案 IVEX的数据处理流程基于多种AWS服务实现无缝衔接，以下是经过策略性部署的AWS服务：   1. 原始传感器的数据（包括激光雷达点云、相机图像和GNSS信息）存储在S3存储服务中。S3用作采集数据的暂存地，为后期处理的数据提供扩展存储，并为处理提供经济高效的短期存储解决方案。此外，使用S3挂载点功能能让S3作为主要的“处理卷”，使其能够像文件系统一样使用。虽然它不完全符合POSIX标准，对某些工作负载存在限制，但可以通过整合EFS和可能添加的FSx来解决这个问题，以根据需要确保兼容性。 2. 处理后的数据（重要事件和场景）存储在关系型数据库服务（Relational Database Service，RDS）和DocDB中。RDS是一个高效的存储库，用于组织对分析至关重要的标记数据。同时，DocDB作为文档存储运行，它是专为快速变化的数据和显示目的所需的二进制数据而设计的。 3. EKS和EC2处理算法执行和可视化任务。EKS充当一系列服务的主机，包括后端、数据服务、前端和处理服务。EC2主要用于根据为EKS制定的规则配置机器。 4. 算法的版本控制通过 ECR 进行管理。ECR用于存储Docker容器镜像。 5. 身份验证通过Cognito进行。如果有必要，可以灵活地替换为任何OpenID Connect （OIDC）解决方案。 6. 数据传输和临时数据存储通过EFS进行管理。EFS作为临时处理区域运行，供各种数据处理流水线存放中间数据并促进不同进程之间的数据共享。因为EFS完全符合POSIX标准，所以可以选择它作为S3的替代文件系统。 这个方案示例突出了构建鲁棒的ADAS/AD数据处理流程所涉及的众多云服务，并强调了应对各种技术复杂性的必要性。此外，还必须解决诸如组织输入数据、确保数据格式兼容性以及管理和监控数据格式变化等挑战。 例如，随着ADAS/AD系统的发展，添加更多传感器以及管理不同车辆配置的需求成为数据处理流程中的关键考虑因素。如果不加以妥善处理，这些因素可能会导致不正确的数据处理，最终得到错误的结果。 上图列出的是构建此数据处理流程的预计工作量和成本细目，该处理流程可标记12种驾驶场景、提取驾驶参数，并支持可视化大型文件（≥ 10TB）。 三、总结 总之，解决上述的这些问题需要付出大量的努力。显而易见的是，选择预先搭建好的数据处理流程将拥有更低的开销。此后，便可以将节省的时间和成本分配给开发OEM和Tier1产品的关键方面。  

发表了日志： 如何应对ADAS/AD海量数据处理挑战？

发表了主题帖： 多源相机数据采集与算法集成测试方案

本帖最后由 康谋自动驾驶 于 2024-12-10 10:13 编辑 在智能化技术快速发展当下，图像数据的采集与处理逐渐成为自动驾驶、工业等领域的一项关键技术。高质量的图像数据采集与算法集成测试都是确保系统性能和可靠性的关键。随着技术的不断进步，对于图像数据的采集、处理和分析的需求日益增长，这不仅要求我们拥有高性能的相机硬件，还要求我们能够高效地集成和测试各种算法。   本文和大家讨论一种多源相机数据采集与算法集成测试方案，能够满足不同应用场景下对图像采集和算法测试的多样化需求，确保数据的准确性和算法的有效性。 一、相机组成 相机一般由镜头(Lens)，图像传感器(Image Sensor)，图像信号处理器(Image Signal Processor, ISP)，接口组成。   图 1 相机基本结构 （1）镜头：用于聚焦光线，将视野中的物体投射到成像介质表面，镜头的光圈决定了进光量的大小，FOV（Field-of-View）决定了视野范围的宽度。 （2）图像传感器：负责将光子转化为电信号，Sensor上的像素数量越多，清晰度就越高。像素的尺寸越大，感光能力就越好。 （3）ISP：负责将传感器捕捉到的原始数据转换为高质量的数字图像，包括完成去马赛克，白平衡，色彩校正等功能。 （4）接口：是相机与外部设备（如计算机）之间信息交流的通道，包括完成数据传输、供电和控制信号输出等。   在实际应用中，常见的相机有USB接口相机，以太网接口相机和车载Fakra相机等。每种相机都有其独特的特点和应用场景。比如，USB免驱相机具备其即插即用和便携性的特点，以太网接口相机则以具备高帧率和网络连接能力，车载相机具备高稳定性和长距离传输的能力。   由于不同的应用场景对图像采集与算法测试的要求各异，例如自动驾驶、工业检测、交通监控等，它们对图像的分辨率、帧率、传输距离和算法部署效果等有着不同的需求。因此，需要不同类型的相机来满足这些多样化的数据采集与算法测试需求。 二、多源相机采集与测试方案 多源相机的数据采集与算法测试，需要根据实际应用情况对各种相机进行不同的参数（比如分辨率，帧率）等配置，并根据不同来源数据有效结合算法部分进行测试。   在实际运用过程中，可以了解到每种相机都对应有自己的SDK包，比如USB免驱相机V4L2 API。但常常常会遇到一些问题，比如如何有效集成每种相机，采集数据与实时可视化？每种相机的多个设备又如何快速同时驱动采集？在车端应用场景中，如何对不同类型相机打上有效的时间戳？   针对这些难题，我们探讨了一种多源相机数据采集与算法集成测试方案。结合BRICKplus/BRICK2硬件采集平台与ADTF软件框架，可以快速集成多源相机并实现数据采集与算法测试。   图 2 BRICKplus/BRICK2   图 3 ADTF软件 软件方面，采用模块化的插件设计模式，集成了USB免驱相机，工业面阵相机和iDS以太网相机等SDK。对算法组件进行接口封装和测试结果输出。   图4 软件框架 对于不同类型的传感器，其数据采集流程大体包括打开设备、设置相机参数和格式、申请内存缓冲区、驱动视频流和图像循环采集等步骤。通过模块化的设计理念，将每种相机的采集流程都映射成一个组件，可以有效的对其进行各种参数配置。此外，在与可视化组件和存储组件进行数据连接，最终可实现多相机的快速集成与可视化采集。   图5 相机采集工程   图6 相机采集工程运行 三、应用案例分享 在软件界面右侧Streaming Source Details那栏中，可以点击Help，可以快速查看Usb Camera Capture组件的使用手册，包括环境准备，组件信息以及工程案例搭建使用。   图7 组件使用手册 比如，在MV Camera Capture组件的Properties栏中可以查看到组件配置的属性。可以设置相机的挂载结点，曝光时间，帧率以及图像采集模式。其中图像采集模式分为采集模式和灰度模式，MONO8为灰度图像，RGB8为彩色图像。   图8 2路相机采集工程   图9 2路相机采集工程运行 通过相机采集的数据与算法组件结合，可以进行算法的测试。比如，通过集成Usb Camera Capture组件、Face Detection组件、Qt5 Video Display组件和Qt5 Meida Description Display，可以快速实现一路相机采集与算法测试工程。   图10 人脸识别算法工程   图11 人脸识别算法工程运行 四、结语 多源相机数据采集与算法集成测试方案提供了一种高效、灵活的解决方案。通过BRICKplus/BRICK2硬件采集平台与ADTF软件框架的结合，能够实现多源相机的快速集成和数据采集，同时保证了算法测试的准确性和实时性。

发表了主题帖： 端到端已来，智驾仿真测试该怎么做？

一、前言 随着智能驾驶技术的发展，端到端的解决方案被越来越多的开发者提及，各大汽车企业争先恐后将端到端智驾方案部署到量产新车型上。过去，智能驾驶方案一直是按照感知、决策、规划、控制这类规则驱动（rule-based）的模块化方法推进，然而规则驱动的模块化方案存在“规则难以穷举、ODD边界模糊、扩展与维护升级困难”等局限性。因此端到端的学习驱动（learning-based）方案应运而生。   端到端的方案具有很多显而易见的优势，首先，它具备较强的泛化能力，可以通过数据发现潜在规律，适应多样化和复杂场景；其次，端到端可实现全面优化，学习驱动直接将输入（如传感器数据）映射到输出（如车辆控制指令），避免了模块化方案中的中间过程（如感知、决策和控制分离）可能导致的信息丢失或误差累积；此外，端到端可持续学习和升级，模型可以通过在线学习或周期性训练，不断吸收新数据，从而适应动态变化的环境需求，如更新的道路法规、复杂的新场景等。 图 1 自动驾驶传统模块化方案与端到端方案 可见，端到端智驾方案优势非常明显，但是对于仿真测试来说却是“灾难性的挑战”。过去模块化智驾方案中，感知与规控之间有显性接口。无论是SIL仿真还是HIL仿真，可以轻松绕过感知模块，直接对规控进行仿真测试（即使输入合成的低置信度图像或点云，也不对感知进行评测）。而端到端方案的到来，不再有所谓感知与规控接口，原有SIL或HIL仿真方案需要重构。面向端到端的智驾仿真必须从传感器输出数据切入，提供一种置信度高、一致性好、覆盖率全面、故障注入便捷的全链路闭环仿真方案。   我们探索了一种有效的端到端智驾仿真解决方案，在仿真引擎和数据传输上进行了大幅优化，以应对端到端带来的挑战，整体框架如图2所示。本方案充分利用了智能驾驶的中间件技术，将仿真引擎生成的传感器原始数据（部分为结构化数据）直接传递给智驾应用层，绕过了传感器硬件和驱动，缩短了仿真数据传输链路，规避了仿真系统开发过程带来的复杂适配与调试工作。大大缩短开发周期的同时，还显著降低了整个仿真系统的成本。 图 2 基于软件定义接口和中间件的闭环测试 二、XIL架构仿真 方案核心架构基于aiSim仿真器，采用XIL架构，并提供开放灵活的API接口，满足不同仿真测试需求。无论是传感器模型、车辆动力学，还是场景构建，都有对应的功能模组来实现。 图 3 aiSim XIL架构示意图 aiSim Air引擎支持如Raster、Raytrace等多种渲染方案，并兼容3DGS/NeRF等技术，能够在平衡渲染效率和置信度的同时，优化资源占用和数据传输效率。此外作为通过ISO 26262 ASIL D认证的仿真工具，aiSim能够在不同传感器和天气条件下提供完全的确定性和一致性。 图 4 Raster和Raytrace渲染支持 图 5 兼容三维重建场景 三、灵活先进的场景构建方案 此外，我们采用了多种先进的场景构建方案，极大地增强了测试的灵活性和广度。交互式图形化场景编辑工具支持OpenScenario和aiSim自定义的AimScenario两种场景格式，能够逐帧回放编辑过程。 图 6 图形化场景编辑工具 高斯泼溅渲染器（GGSR）则可以在3D重建场景中动态插入物体，优化环境条件，减少伪影，修复镜头下的非一致性问题。 图 7 非一致性修正 图 8 三维重建场景天气环境编辑 图 9 任意视角下多模态效果图 LogSim2WorldSim进一步通过云端自动化处理和分析原始数据，实现了基于EuroNCAP等法规场景的切片、预测试和回放功能。 图 10 LogSim2WorldSim方案转换流程 在完成场景构建后，通过VRU、建筑物、道路标志和天气等动静态元素，对场景的边缘条件进行探索，确保端到端测试全面覆盖。 图 11 场景泛化方案 四、高保真物理传感器模型 在传感器仿真方面，通过物理级相机、激光雷达和毫米波雷达模型等丰富模型库的支持，可以实现快速配置和参数调整。此外通过精准仿真HDR、高动态范围、动态模糊、曝光等不同的视觉效应，能够确保各种驾驶环境和天气条件下的高保真度测试。 图 12 相机模型镜头效应 图 13 镜头不同曝光次数下HDR图像 图 14 不同天气条件下镜头效果 激光雷达和毫米波雷达模型也能有效模拟不同天气条件下的传感器行为，为高效的多目标检测和车道线检测任务提供可靠数据支持。 图 15 激光雷达BRDF材质反射 图 16 雨雪天气激光雷达点云输出效应 图 17 激光雷达点云置信度验证 图 18 毫米波雷达点云 五、置信度与仿真结果分析 我们还对采用此方案的仿真结果进行了详细的验证。例如，在车道线检测任务中，aiSim仿真与真实世界数据之间的召回率一致，达到了98.45%的高准确率。多个目标检测任务的测试结果也表明，仿真与实际表现高度契合，尤其在近距离目标的检测中，召回率表现优异。 图 19 置信度测试1：车道线检测算法 图 20 置信度测试2：多目标检测 端到端智驾仿真方案还在多个测试环境中展现了出色的表现，包括实车静态和动态测试、车辆模型与动力学模型的集成，支持FMU接口快速接入第三方动力学模型。 图 21 动力学测量和建模 每次仿真结束后，系统会自动生成SQLite数据库文件，方便进行深入的分析和数据挖掘，确保测试结果的全面性和准确性。 图 22 测试结果可视化分析 六、应用案例分享 随着自动驾驶测试需求的日益复杂，基于aiSim为核心的端到端仿真方案凭借其易于扩展的特性，可以支持SiL/HiL等多种应用场景，并提供了与ROS2、Simulink、Matlab等系统的无缝集成。 图 23 基于DMA视频注入闭环测试方案及监测窗口 我们还尝试探索了专为GNSS集成域控制器、决策功能快速测试等场景的测试方案，进一步提高了测试效率，降低了硬件成本。 图 24 GNSS联合仿真方案 七、结语 本次介绍的端到端智驾仿真测试方案，以aiSim引擎和XIL架构为核心支撑，凭借其开放的接口设计、灵活的场景构建与测试功能，为自动驾驶技术的验证与优化提供了强有力的支持。无论客户面临的是提升测试效率的迫切需求，还是降低成本的现实压力，端到端智驾仿真测试方案都能帮助客户轻松应对自动驾驶测试中的种种复杂挑战，实现技术难题的快速解决。

发表了日志： 端到端已来，智驾仿真测试该怎么做？

回复了主题帖： 科研新体验：刘同学深度试用ADTF软件！

Jacktang 发表于 2024-11-20 07:29 ADTF相比同类软件的突出的优势是哪些 不好意思，让您久等了，ADTF的突出优势主要集中于以下六点： 1、数据记录与回放 支持视频、LiDAR、Radar等多元传感器数据库及车辆状态信息的记录，并提供精确回放功能，确保自动驾驶功能测试与验证的数据一致性和准确性 2、硬件集成 基于AUTOSAR和ASAM等标准，ADTF实现与多种车辆总线系统和传感器的即插即用集成，简化了硬件设备连接和数据交换 3、数据可视化 支持二维和三维的可视化，包括信号绘图、Qt、OpenGL和OSG的2D/3D可视化工具 4、测试与验证 集成模拟、原型制作和数据记录等多种工具，全面支持软件的测试、言验证和评估过程 5、后处理与模拟 支持深入的测试后数据分析和验证、确保算法和功能正确，同时提供模拟环境以在无硬件条件下测试软件组件 6、快速原型开发 ADTF SDK和开源组件支持自定义开发ADTF过滤器、服务器或独立应用程序，提供高度灵活性和定制化方案 非常感谢您的积极互动，如有其他问题，欢迎和我们随时交流呀~

发表了日志： 科研新体验：刘同学深度试用ADTF软件！

发表了主题帖： 科研新体验：刘同学深度试用ADTF软件！

一、前言 作为一名高校的科研工作者，在高校的科研工作中，经常需要处理各种复杂的数据流，尤其是视频采集和处理的工作，对数据的实时性和精度要求非常高，我首次试用ADTF时，主要负责开发一个集成FFmpeg的Filter组件，处理摄像头采集的raw数据，并对其进行H264编解和解码。在这个试用的过程中，我对ADTF的初步体验是它的设计非常便捷，尤其是对于图像和视频数据的处理。 通过这次开发，我对ADTF的模块化设计、流数据传输机制以及其便捷的开发环境有了更加深刻的认识。接下来，我将从多个角度详细分享我的试用体验，内容涵盖ADTF的优势、工作流程中的亮点，以及未来展望等方面。 二、ADTF的用户界面与灵活性 在打开ADTF时，我觉得其直观的GUI设计非常的友好。作为一名高校科研工作者，我们通常需要频繁的调整实验配置、切换不同的开发场景，而ADTF的界面布局使得这些操作变得十分便捷。其工具栏、Component、Sessions管理以及快捷命令栏的存在，极大的优化了工作的流程。能够在搭建工作流时，迅速的找到所需要的工具和组件，并轻松的管理多个实验配置，这在需要进行多项实验的科研工作中尤其重要。 ADTF的模块化设计使我能够快速自由的组合各种组件，构建适合具体科研需求的工作流。例如，我能够通过ADTF提供的Store模块，轻松地管理不同的数据流和实验配置。这种灵活性对于需要快速迭代实验和算法验证的科研工作来说非常有利。       三、便捷的组件开发 我在ADTF中开发的Filter组件，集成了FFmpeg进行H264图像数据编解码，这使得我能够处理摄像头采集的raw数据。ADTF提供了标准的图像数据流定义，使我可以快速上手，并通过自定义的数据流类型进行数据的高速传输。让我印象深刻的是，ADTF允许我创建自定义的流类型，并将编码后的视频数据发送至下一个Filter进行解码。这种模块化的设计对于处理复杂的多步数据流非常有帮助，尤其是在处理视频和音频等连续数据时。 ADTF的流数据传输机制非常稳健，特别是在高速数据吞吐情况下，它依然能够保证数据的完整性和及时性。例如，当我处理大规模视频数据时，ADTF通过其文件的流数据传输体系很好地管理了数据流的传输，确保没有出现数据丢失的现象。这一点在要求高精度的场景下，ADTF的表现非常好。 此外，ADTF的组件开发过程也充分展示了其灵活性。在开发Filter组件时，ADTF中可以自定义流类型，不仅能与标准化的数据流兼容，还能针对特定需求自己定义。通过这种方式，我可以轻松的将编码后的视频数据传输至下一个解码或者处理视频数据的组件，实现多步数据流处理。在整个开发过程中，我清晰地感受到了ADTF模块化设计所带来的便利，它允许我根据不同的实验需求进行自由组合和扩展。       四、丰富的工具箱和组件 ADTF还有一个非常好的亮点是它丰富的工具箱。我在开发组件的过程中直接使用了ADTF自带的Windows摄像头驱动采集数据，避免了繁琐的硬件配置。此外，ADTF还提供了Qt以及foxglove等显示组件，使我能够实时监控摄像头捕获的视频流，很大程度上方便了我的开发和测试。这种预制组件的存在大幅度缩短了开发时间，我可以把更多的精力集中在数据处理的核心逻辑上。 在科研项目中，快速的验证新算法和新想法是我们的日常工作。ADTF通过大量现成的组件，帮助我们在短时间内可以搭建一个完整的测试环境。例如：我可以迅速继承已有的摄像头采集组件，并通过简单的操作和配置就可以完成视频流的显示和存储。这种集成工具的便利性是在科研工作中快速迭代优化的重要支撑。     五、外部库与ADTF完美结合 在科研项目中，大部分的功能需要依赖外部库，比如OpenCV、FFmpeg…，在这次的开发过程中，我通过FFmpeg对摄像头采集的raw数据进行H264编解码。ADTF的开放性和模块化使得FFmpeg的集成过程十分顺畅，通过Filer组件可以轻松调用FFmpeg的功能，将raw数据进行编码，并在解码阶段还原数据进行显示。 FFmpeg强大的视频处理能力与ADTF的稳定数据流传输机制相结合，使我能够达到项目中要求的实时数据处理。通过把FFmpeg集成到ADTF中，我能够以较低的系统资源消耗完成高效的视频编码和解码，还可以在我设计不同的试验方案时，快速的帮我搭建适合试验方案要求的工作流。ADTF与FFmpeg的结合组件展现了非常出色的扩展性和稳定性。 六、未来展望 通过对ADTF的使用，我认为ADTF为高校的科研人员提供了一个强大的数据处理和开发平台，ADTF在处理大规模数据流、视频数据编解码等领域具有极大的潜力。这种模块化设计使我们能够轻松定制复杂的工作流程，特别是在处理多个传感器数据和视频流时，ADTF提供了极高的灵活性。 在未来对ADTF的使用中，我将会进一步探索ADTF在自动驾驶、智能交通系统等领域的应用，并希望能够看到它在数据处理和算法开发中的更多突破。

回复了主题帖： 确保AD/ADAS系统的安全：避免数据泛滥的关键！

Jacktang 发表于 2024-11-16 09:26 看来合适的架构作为处理流程的基底还是很重要的 是的，非常有必要，欢迎关注，多多讨论，一起进步！