（原标题：受邀出席车载抬头显示 HUD 高峰论坛，助力座舱智能化升级）

随着汽车智能化的到来,汽车座舱发展趋向以多个屏幕同时呈现信息,而 AR-HUD 作为 HMI 的窗口之一,以一种更加自然的图像处理方式呈现在驾驶员的前方,提供更多有用的信息,成为新的趋势。近期发布的理想 L9,通过超大尺寸的 HUD 抬头显示系统以及方向盘上方的安全驾驶交互屏来提供足够的行车信息,被视为 AR HUD + 小型信息交互屏“代替”传统液晶仪表的里程碑事件。在新的人车交互方式下,AR-HUD 的成熟以及相关 HMI 设计的升级,有望重塑汽车车内体验。

近日, Cocos 产品总监郭萌在 2022 年第四届车载抬头显示 HUD 高峰论坛上,进行了以《实时3D渲染引擎助力座舱智能化交互升级》为主题的演讲,分享了他对于 AR-HUD 的理解,以及 Cocos 引擎如何帮助主机厂为用户带来全新的座舱 HMI 交互体验。

Cocos 产品总监郭萌

以下内容整理自演讲实录:

Cocos 引擎:不断拓宽应用场景,提升数字内容行业生产效率

大家好,我是来自 Cocos 的郭萌,很开心有机会能和在座的从业者沟通交流。今天主要分享一下这些年 Cocos 在 3D 渲染引擎的积累,以及我们在车机行业的探索。

Cocos 成立于 2010 年,我们是一家数字内容的生产平台,旗下的核心产品叫 Cocos 引擎,目前服务了包括汽车、游戏、在线教育、XR 等行业的公司。Cocos 的注册开发者已经超过了 150 万,分布在 203 个国家和地区。同时,Cocos 也是一家完全中国自主知识产权的 3D 图形渲染引擎。

在我们接触的主机厂中,很多主机厂都在强调要对座舱 HMI 进行升级。希望座舱的视觉表现更加酷炫,基于 PBR 实现更加次时代的效果。

目前越来越多的主机厂也在关注一些 AR-HUD 在智能座舱的运用,包括最近发布的理想 L9,已经取消了仪表屏,取而代之的是用更大尺寸的 HUD 作为信息显示。

我们认为 AR 在座舱内成为了继屏幕显示、语音交互和视觉交互之后的又一大交互方式。通过这种交互方式,Cocos 希望能够帮助主机厂去创造更多的内容生态,提升 AR-HUD 的使用范畴,将座舱的体验再升级。

除了车机,我们现在看到的 AR 产品几乎都是使用很多优秀的游戏引擎开发的,所以我认为后续的主机厂在做 AR 显示内容的时候,也会基于这些优秀的游戏引擎作为工具进行开发。

Cocos HMI 智能座舱解决方案

Cocos HMI 智能座舱解决方案目前已经涵盖了车载人机交互界面,自动辅助驾驶可视化,车载虚拟形象,车载游戏,音乐播放器等能力。已经覆盖到座舱内包括 HUD、仪表、IVI、娱乐副屏在内的多种显示设备。

在系统支持上,已经做到适配 Android,Linux,QNX,HarmonyOS 等主流车机系统。Metal、Vulkan、WebGl 1.0、WebGl 2.0、GLES2、GLES3 等比较常见的渲染后端也已完整支撑。

3ds Max、Maya、Blender 等 3D DCC Tools 导出的传统的 3D 格式文件、传统的多媒体资源,都可直接导入到 Cocos 的开发工具里进行二次开发,再加上 Cocos Creator 自带的 UI 编辑器、动画编辑器以及编码环境,常用的 PBR 材质系统、粒子系统、实时光影等效果,都可以直接使用,便于使用者搭建座舱内的 3D 场景。

此外 Cocos 还支持 Web 系统,也就是说开发阶段只需维护一套代码,就可以支持发布到各个平台,极大的节省了主机厂的维护成本。

更好玩的 VPA

越来越多的主机厂开始使用 VPA 形象来替换老一代的语音助手形象。基于实时渲染的 3D 形象,在情感交互表现力上会更加的灵活,更强。 Cocos 目前可以提供包括形象设计、形象建模、针对语音场景的动作制作,包括联动其他 App 的功能在内的一整套框架。

主机厂在做新一代 VPA 的过程中,都希望引入游戏化的元素,做成一个可运营的功能。比如引入一些节日彩蛋,生日彩蛋。国庆中秋的时候,是不是能有一些新的东西能够实时地下发到用户的车机端,让用户对 3D 形象时刻保持新鲜感。

Cocos 引擎作为游戏开发引擎,本身拥有热更新框架,可以支持整个 VPA 形象从模型、到代码、到场景、到脚本逻辑的实时更新。

后续由 Cocos 为主机厂搭建后台服务:资源管理平台,可独立于 OTA 提供实时热更新能力。有了实时热更新,可以做到每周、每天给 VPA 下发新的服装、新的动作,让主机厂不受限于 OTA 的节奏来运营 VPA。

比如短视频平台上某一个舞蹈火了,由工程师把舞蹈动作的脚本文件打包上传到更新后台。第二天当用户打开车机的时候,车主的虚拟个人助理形象就可以跳这段舞,这对用户来说是更有趣的体验。

让 ADAS 不再那么“疲惫”

目前越来越多的车型都提供了自动辅助驾驶功能。但之前看到一个调研,许多车主在使用自动辅助驾驶的时候,反而会更累。主要原因是有时候自动辅助驾驶的可视化做得不够好,车主不知道自己的车下一步是要干什么,这时候他会产生很大的恐慌以及紧张,长时间处在这样情感下,就会感觉到疲惫。

所以自动驾驶可视化也是自动辅助驾驶功能的一个很重要的部分,Cocos 基于主机厂提供的原始地图数据,根据相应的 HMI 的视觉风格进行 3D 可视化渲染。用一个符合主机厂要求的视觉方案来进行 3D 还原,从而改善车主使用 ADAS 功能的体验。

多模态交互车载游戏

游戏是 Cocos 重要的应用场景之一。在车载游戏领域,Cocos 做的更多的是帮助主机厂去建设座舱内的多模态交互游戏。包括基于车内摄像头的一些体感游戏,结合麦克风的语音类游戏,结合方向盘类的运动类的游戏。以及联动前后屏、主副驾屏的多屏联动类游戏。

更具氛围感的音乐播放器

音乐是座舱内最传统,也是使用率排在前三的核心功能。目前许多主机厂都有升级音乐播放器来打造差异化的需求,而不是千篇一律地使用某某音乐播放器车机版。基于 3D 渲染引擎能力,Cocos 能够帮助主机厂重新包装音乐播放器,通过歌词、音乐可视化的效果,来提升座舱内音乐的氛围感。

Cocos Runtime:低延迟、“即点即用”

Cocos Runtime 是 Cocos 开发的一个支持互动内容免安装即可运行的商业化 SDK,可运行在多种操作系统平台上,可以理解为一套小程序和小游戏的底层运行框架,支持主流 JavaScript 游戏引擎开发的内容,可以高效地将数字内容的运行效率做到最大化的提升。各种硬件设备、App 集成 Runtime 之后,用户即可感受数字互动内容“点开即玩”的畅爽体验,而不是通过传统的下载的模式。

在座舱内,目前有些 HMI 产品的启动和加载时间长达数十秒,无疑这会严重影响驾乘人员的体验,再比如 AR-HUD,理想情况应该做到毫秒级的延迟控制,才能将数字虚拟世界与真实世界精确融合,这直接决定了用户的使用体验效果。通过引入 Cocos Runtime ,可以提高启动和加载速度,减少操作延迟。

完善 Cocos 生态链,探索技术的更多边界

开发者生态方面,Cocos 目前累计拥有 150 万全球注册开发者。除了国内的一线的互联网公司,海外的 Facebook、Google、育碧都在和我们进行一些技术上的合作。

Cocos 最近还与任天堂进行了合作共同构建开发者生态,Cocos Creator 即将实现对 Nintendo Switch 的支持,届时开发者申请成为任天堂认证开发者后,再联系 Cocos 获得引擎,即可将游戏一键发布到 NS。

在全球最大的开源社区 Github,Cocos 在游戏引擎项目中的 Pull Requests 也位居前列。

Cocos 也在做一系列基于开发者生态的沙龙巡演和线上直播。更多地了解开发者的真实诉求,从而打造更好的内容研发工具。

总的来说,Cocos 将不断提供更完整的工具链和解决方案,基于 3D 应用场景,帮助车企在新一代智能座舱的竞争中占得先机。