作为自动化程度的一项功能，优化车辆与驾驶员之间的通信是弗劳恩霍夫研究所（Fraunhofer）与其他公司合作开展的一项研究项目的目标。研究人员将用于监控车辆内部的传感器与语言模型相结合，形成所谓的视觉语言模型。这些模型旨在提高未来汽车的便捷性和安全性。
“警告，如果您现在继续阅读，在蜿蜒的道路上您可能会感到恶心。五分钟后，我们将驶上高速公路，那时会更容易些。”或者：“快要下雨了，我们需要关闭自动驾驶模式。请做好自行驾驶的准备。很抱歉，但您目前需要将笔记本电脑存放在安全的地方。安全第一。”未来几年内，汽车可能会以这种方式与驾驶员沟通。
随着车辆自动化的不断增加，需要重新思考它们与人类交互的方式。来自弗劳恩霍夫光电技术、系统技术和图像开发研究所（IOSB）和工业工程研究所（IAO）的研究团队与包括大陆集团（Continental）、福特（Ford）和奥迪（Audi）在内的十个合作伙伴，以及一系列中小企业和大学，在KARLI项目中共同承担了这项任务。KARLI是德国的一个缩写词，代表“未来汽车中的人工智能，以实现自适应、响应性和符合标准的交互”。
今天，我们将自动化分为六个不同的级别：非自动化（0）、辅助（1）、部分自动化（2）、高度自动化（3）、全自动化（4）和自主（5）。“在KARLI项目中，我们正在为二至四级自动化开发人工智能功能。为此，我们记录驾驶员正在做什么，并为每个级别设计不同的人机交互方式，”卡尔斯鲁厄弗劳恩霍夫光电技术、系统技术和图像开发研究所（IOSB）的项目协调员弗雷德里克·迪德里希斯（Frederik Diederichs）解释说。
不同级别的交互
根据自动化的级别，驾驶员要么需要专注于道路，要么可以专注于其他事情。他们有十秒钟的时间再次握住方向盘，或者在某些情况下，他们根本不需要再次干预。这些不同的用户需求以及根据路况在不同级别之间切换的能力，使得为每个级别定义和设计合适的交互成为一项复杂的任务。此外，交互和设计必须确保驾驶员始终了解当前的自动化级别，以便他们能够正确地履行自己的职责。
KARLI项目中开发的应用程序有三个主要关注点：首先，警告和信息应鼓励符合级别的行为，并防止驾驶员在需要集中注意力在道路上时分心。
因此，向用户的通信适应于每个级别——它可能是视觉的、声音的、触觉的或三者的结合。交互由人工智能代理控制，其性能和可靠性正在由合作伙伴进行评估。
其次，需要预见并尽量减少晕车风险——这是被动驾驶面临的最大问题之一。有20%至50%的人患有晕车症。
“通过将乘客的活动与蜿蜒路段上可预测的加速度相匹配，人工智能可以在正确的时间向正确的乘客发出提示，以防止他们晕车，并为他们提供适合当前活动的建议。我们通过使用所谓的生成用户界面（简称‘GenUIn’）来实现人与人工智能之间的交互定制，”迪德里希斯解释说。
这种人工智能交互是KARLI项目的第三个应用。GenUIn生成个性化的输出，例如提供有关如何减少晕车的信息。这些建议可能与当前由传感器记录的活动相关，但也会考虑当前环境中的可用选项。
用户还可以个性化整个车辆交互，并随着时间的推移逐步调整以满足他们的需求。在交互过程中始终会考虑自动化级别：例如，如果驾驶员正在专注于道路，信息可能简短且纯语音；如果车辆当前正在自动驾驶，信息可能更详细并通过视觉渠道呈现。
各种人工智能支持的传感器记录车内的活动，其中关键元素是内部摄像头中的光学传感器。目前关于自动驾驶的法规正在将这些传感器作为强制性要求，以确保驾驶员具备驾驶能力。
然后，研究人员将摄像头中的视觉数据与大语言模型相结合，形成所谓的视觉语言模型（VLMs）。这些模型允许（部分）自动驾驶车辆中的现代驾驶员辅助系统以语义方式记录车内情况，并对这些情况做出响应。
迪德里希斯将未来车辆中的交互比作一位待在幕后但了解上下文并为车辆乘员提供最佳支持的管家。
匿名化与数据保护
“这些系统被接受的关键因素包括对服务提供商的信任、数据安全性以及对驾驶员的直接益处，”弗雷德里克·迪德里希斯（Frederik Diederichs）表示。这意味着尽可能好的匿名化和数据安全以及透明且可解释的数据收集至关重要。
“并非摄像头视野内的所有内容都会被评估。传感器记录的信息及其用途必须透明。我们正在弗劳恩霍夫IOSB（Fraunhofer IOSB）的‘可解释性人工智能’（Xplainable AI）工作组中研究如何确保这一点。”
在另一个项目（Anymos）中，弗劳恩霍夫的研究人员正在致力于匿名化摄像头数据，以最小化数据使用量的方式进行处理，并对其进行有效保护。
Small2BigData的数据效率
该研究项目的另一个独特卖点在于数据效率。“我们的Small2BigData方法仅需要少量高质量的AI训练数据，这些数据是通过实证收集和合成生成的。它为汽车制造商提供了在后续批量生产期间应收集哪些数据的基础，以便系统能够投入使用。
“这有助于将数据量控制在可管理的水平，并使项目结果具有可扩展性，”迪德里希斯解释道。
最近，迪德里希斯及其团队启用了一辆基于梅赛德斯EQS的移动研究实验室，以便在道路上对3级自动驾驶中的用户需求进行更多了解。在这里，KARLI项目的发现正在接受实际测试和评估。这将使首批功能最早在2026年即可在量产车辆中提供。
专家表示：“在自动驾驶领域，德国制造商与其国际竞争对手展开了激烈的竞争，他们只有在提升车内用户体验、并利用人工智能来适应和满足用户需求方面拥有竞争力时，才能取得成功。我们的项目成果在这其中发挥着重要作用。”
