袁东：XR是未来数字世界中最核心的技术

这是现在好莱坞非常流行，甚至是主流的一种制片模式，虚拟制片，利用Track来进行焦距的变换，还有虚拟摄像机的定位。右下角是我们在今天很多shopping mall里看到的VR线下体验，像一把真枪在现实影射，让你体验射击的快感。

VIVE sync团队是跨国团队，设计团队在旧金山，engineering团队在台北。因为疫情原因，交流比较困难，就在想怎么让团队合作更加融洽，就创造了VIVE sync软件，它就是在虚拟现实中协同一块进行工作，可以支持最主流的办公文件格式，甚至可以在虚拟现实中同时review一个3D模型，这对产品同学会非常有吸引力。但我们发现一个很大的问题，在一开始交流过程中，人体很难被模拟。因为在虚拟现实中我们只有一个头盔和两个手柄，模拟的人体非常不自然。我们团队通过机器学习的方法来改善这一块，这里有一个IK（Inverse Kinematics），利用人有限身体节点反向模拟人体。其中上面两个，左边是人的正常的活动姿态，右边是我们想实现的通过机器学习和我们的方法，能够模拟出人的身体姿态。当然这两个无限的接近，就证明这样的模拟是有效的。

我们通过了很多的training数据，通过机器学习进行training以后，再通过后期美术的优化和加工达到了效果。这个视频展示了我们怎么training data，可以看到我们用的硬件只有两个头盔和两个VIVE controller，分别绑在肘部，用两个外部的controllers模拟手的姿态。通过这样的训练，得到了人上半身非常精准的姿态数据。

经过机器学习和美工加工，可以看到我们与其他通过没有经过机器学习的模拟IK的效果对比。左边是我们通过机器学习得到的模拟效果，右边是普通情况下模拟的人上身的效果。可以看到右边容易出现穿模不自然的状态。在VIVE sync软件里面，就有一个更好的对比。

在虚拟现实中，我们不仅想把人最自然的姿态、人最自然的表情映射进来，我们还希望能增强人在虚拟现实中对现实的认知。我下面想向大家介绍的是通过我们的技术如何增强人对世界的感知，甚至是对自我的感知，能够达到增强现实的效果。

通过Deep Learning的技术，在2D方面可以实时识别很多物体，而且识别的物体数量会继续增加。这样比较好的应用，比如我在玩VR的过程中，我的沉浸感非常强，而且戴头盔就没办法看到外界的东西。但如果在你旁边走过去的亲朋好友，对他们来讲你其实是一个非常危险的人，因为他不会预测你未来会做什么样的动作伤到他。这时候我们通过对人物的识别，就会实时反映出来，告诉你前面有一个人或者小猫小狗走过去，你就会注意到，不会伤害他。对于3D的识别，我们通过前置摄像头进行环境扫描以后，会把空间所有的信息做内部处理，识别出3D物体位置和3D物体大小。通过这个视频，可以看到一个简单的应用。这个demo在台湾办公室录制，可以看到通过前置摄像头扫描完了桌椅以后，生成数据，可以识别出这个是否桌椅，就可以做3D、MR内容的研发。

未来，我们还想更进一步通过深度学习和机器学习，来增强这些方面的体验。比如，我们会识别出在环境中灯光的来源，就像我今天站在这里的时候，我通过VR也能学习到我的光源是从我正前方的镁光灯射过来，还有它的方向，甚至它是什么样的光源，是点光源还是散射光源等等。

2020年是一个令人难忘的一年，因为这一年发生了很多的改变，特别是新冠肺炎疫情让大家跟很多亲人没有办法像之前一样那么方便地团聚和工作。但是在世界各个角落通过虚拟现实技术，通过我们的一些技术，还是有很多热爱生活的人，他们依然在虚拟现实中得到了现实方面的体验和满足。

我们相信未来的XR技术，加上真正的AI技术和人机交互技术，也会让人们在办公中得到真正的像现实中一样的便捷。

从虚拟现实真正走向大众的2016年开始，我们跟网易一直有非常密切的合作。在我们的内容平台已经有两款网易的内容上线，我们未来会跟网易伏羲继续在技术和产品上合作，也非常感谢网易和网易伏羲的邀请！最后预祝这次大会圆满成功，谢谢各位！

2020网易未来大会由杭州市人民政府和网易公司联合主办，杭州市商务局、杭州市经济和信息化局、杭州市滨江区人民政府、北京网易传媒有限公司以及网易（杭州）网络有限公司承办，中国移动总冠名。大会将进行三天的头脑风暴、涵盖了预见未来、新基建、人工智能、区块链、潮商业、UP生活以及和文化等论坛。

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!