黄仁勋GTC演讲速递：元宇宙构建工具本质上是“数字虫洞”

“你会看到一个永恒的主题——Omniverse如何被用来模拟仓库、工厂、物理和生物系统、5G边缘、机器人、自动驾驶汽车，甚至化身数字孪生，”11月9日，英伟达CEO黄仁勋GTC大会上表示。

用于探索“元宇宙”的Omniverse是英伟达开发的实时仿真和协作平台，“Omniverse与游戏引擎大不相同，其是面向数据中心规模设计的，有朝一日有望能达到全球数据规模。Omniverse的门户是USD（Universal Scene Description，通用场景描述），本质上是一个数字虫洞。将人和计算机连接到Omniverse，并将一个Omniverse世界连接到另一个世界，USD之于Omniverse就像HTML（网页）之于网站，”黄仁勋表示。

此前，据英伟达介绍Omniverse的运作分为三个大的部分。

第一部分，数据库引擎Omniverse Nucleus，用户可在此连接并进行 3D 资产和场景描述的交换，需要进行建模、布局、阴影、动画、照明、特效或渲染的设计师可以一起协作创建场景。

第二则是合成、渲染和动画引擎——虚拟世界的模拟，比如英伟达的图形技术可以实时模拟每条光线如何在虚拟世界中反射。

第三部分是NVIDIA CloudXR，它包括客户端和服务器软件，可用于将扩展现实内容从 OpenVR 应用程序传输到 Android和 Windows设备，允许用户进出Omniverse。

黄仁勋在GTC大会的主题演讲中最新介绍了Omniverse Replicator和Omniverse Avatar。

Omniverse Replicator是一种合成数据生成引擎，目的是帮助构建更好的数字孪生体。一个值得注意的用例是Nvidia Isaac Sim ，“使用 Isaac 进行数据复制可以在充满合成数据的世界中测试机器人的虚拟实例，”英伟达嵌入式与边缘计算副总裁兼总经理 Deepu Talla说，“在物理领域训练机器人真的很难。在模拟中这样做更便宜、更安全、更快。”此外，他补充道，由于数据是合成的，那么可以跳过训练机器学习模型的“标注”步骤，因为系统已经知道在虚拟世界里的对应对象应该是什么。

这也可以应用到自动驾驶中，“我们利用 Omniverse 进行车辆训练和测试的模拟，以确保它们的安全，”Nvidia 汽车副总裁 Danny Shapiro表示，“使用合成数据在模拟道路条件下测试自动驾驶软件可以节省时间和金钱，简化标记环境中物体等问题，并最终与车辆在现实条件下的行为相协调。”

Omniverse Avatar用于创建可与人类交互的AI化身。黄仁勋在主题演讲中展示了按照他的声音和形象制作的“Toy-Me”，一个可以理解人类提出的复杂问题并做出回应的语音交互AI。

这项技术集合了英伟达在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟技术方面的技术。上图的模拟“黄仁勋”是一个具有光线追踪3D图形的交互式角色，他可以和人类谈论广泛的主题，并理解人类说话者的意图，黄仁勋的虚拟动画形象“Jensen”就很好回答了“气候变化带来的最大威胁是什么”、“天文学家如何寻找系外行星”等问题。

Avatar语言识别的背后技术包括Riva，一种用于处理高级语音AI的新型大型软件开发工具包；Avatar的自然语言理解是基于Megatron 530B大型语言模型。

值得注意的是，最新版本的Nvidia Riva对话式AI软件开发套件中可以使用Riva Custom Voice，它利用半监督学习为软件、IVR和其他业务应用程序创建合成的、定制的语音。据黄仁勋介绍，只需 30分钟的训练数据，这项对话式人工智能技术已经改进到可以根据任何语音生成合成语音。

黄仁勋认为，这些助手几乎可以为任何行业轻松定制，帮助处理数十亿日常客户的服务互动，包括餐厅点单、银行交易等等。

外媒《Venture Beat》表示，借助Riva自定义语音，英伟达就可以与谷歌并驾齐驱。2019年，谷歌在其云文本转语音服务中推出了新的人工智能合成WaveNet语音。其也提出对于可能带来的语音滥用的担心，比如模拟语言进行诈骗。

GTC大会（GPU Technology Conference）于2009 年在加利福尼亚州圣何塞第一次举办，是英伟达的旗舰活动，一直是英伟达向外界传递重要信息的渠道。最初专注于通过 GPU 解决计算挑战的潜力。近年来，会议重点转向人工智能和深度学习的各种应用，比如自动驾驶汽车、医疗保健、高性能计算、和深度学习等。

今年秋季场黄仁勋在主题演讲里强调了对Omniverse的未来期待，他透露：英伟达将建立一个E-2（Earth Two，地球二号），这是一个地球数字孪生模型，目的是模拟和预测长期的气候变化。

从Facebook改名“Meta”，到微软把混合现实（MR）平台融入到视频会议工具Teams中，英伟达似乎也是在铆足了力布局“元宇宙”。