初见鹿鸣，不觉眼前一亮，“小姐姐”外表清新脱俗，神态举止俏皮可人，不由让人心中升起种恬淡悠然之感。不久后在2020虚幻引擎开放日上，米哈游总裁大伟哥的演讲首次揭秘了鹿鸣项目的幕后故事。方知鹿鸣项目的与众不同，她并非一个“功利”的商业项目，而是米哈游内部第一个虚幻引擎技术验证项目，立项初衷是受虚幻引擎GDC演示项目Siren启发，尝试将米哈游擅长的二次元赛璐珞风与虚幻引擎擅长的PBR写实风相结合，以求寻得一个平衡点，也就是如今大家见到的鹿鸣独有的渲染风格。

　　熬过疫情，鹿鸣在春节前成功完成了最新一期的直播。“呦呦鹿鸣，食野之苹”，恰逢大地迎春之际，让我们再一次探访鹿鸣，了解下她从“深闺”到台前的“成长”之路。

　　首先在项目的第一阶段，团队唯一的目标就是将渲染品质提高，以求做到对标影视级别，这可以说是一个纯LookDev阶段，所以不会过分纠结于一时的渲染及模拟效率。作为米哈游第一个虚幻引擎项目，团队许多人对虚幻引擎并不了解，不免担心影响工作进度。所幸虚幻提供的可视化编程功能——蓝图，对于新手十分友善，尤其对有其他引擎使用经验的团队来说，更是很快上手。这使得团队能够快速搭建场景或实现各种功能原型，并快速迭代来找到最佳方案。

　　而最受美术同学欢迎的要属Layered Material功能。有了它，美术可以方便地从材质库引入材质作为子层，将材质由shader蓝图的编辑变成了类似传统美术软件对层进行操作的逻辑，更符合美术的直觉，使得美术同学能很快学会在引擎中如何进行材质构建。而其每个层相对独立的特点，也使得材质的维护修改变得方便快捷竞技宝JJb。

　　而为了追求影视级品质，这一阶段的作品都是通过虚幻引擎的影片渲染队列（Movie Render Queue）功能进行离线生成的，所以生产管线也就类似传统离线CG的管线，而Python作为传统管线软件都支持的脚本语言，对于整个管线的自动化效率至关重要，虚幻引擎对Python的支持，使得引擎与传统CG流程管理软件、制作软件可以轻松衔接，大大方便了资产管理以及批量化资产导入导出。

　　一言以蔽之，彼时团队就是将虚幻引擎作为一个所见即所得的LookDev编辑器+离线渲染器来使用。

　　这一阶段直到UOD2020结束大半年后，团队确认了最终想要的风格以及品质标准后而告一段落。第二阶段的工作重点自然是大伟哥在虚幻开放日分享结尾立的flag——做直播！

　　直播意味着是整个流程从离线到实时的颠覆，从后期配音到实时语音合成，从表演捕捉后再将数据交给动画师精修变成实时的表演捕捉，从离线在其他DCC中进行布料、肌肉模拟解算再将结果导入引擎到全实时解算，从原先几分钟甚至十几分钟一帧的画面到1秒30帧，而这一切都还有一个大前提——必须保持离线的品质！

　　于是简单的两个字，团队走了近两年，在去年七月终于完成了鹿鸣的直播首秀，在保证了品质的同时，验证了整个实时处理流程框架；更在第二次直播时，根据粉丝的反馈，优化了管线、表情、物理模拟，使品质再上层楼。

　　要将虚幻实时渲染的品质达到MRQ离线渲染品质，难度不言而喻。所幸鹿鸣背后有着数以百计的算法科（Jì）学（Shù）家（Zhái）与软硬件工（Jì）程（Shù）师（Zhái）为其攻克道道难关。

　　第一道难关是动作捕捉中的重定向。由于动捕演员的身形各异并且动作风格不完全可控，想要鹿鸣有自然的表现，存在诸多的挑战。由于虚幻引擎4 官方还没有加入IK Rig Retargeting功能，团队自己实现了一个IK Solver，以使在重定向过程中避免穿模的同时，还能保证动作的稳定与自然。

　　而表情捕捉就更绝了，原以为鹿鸣这样的卡通角色，由于渲染上模型或材质上的细节不多，表情上稍微有点差别，画面上可能看不出什么区别，可以更容易地避免恐怖谷现象。然而理想很丰满，现实总是很骨感，正因为没有了模型上材质上的一些细节，表情的自然与否反而变得更加重要。为了能够获得更好的细节表现，米哈游需要获取面捕过程中的底层数据做定制优化，而不仅仅是商业方案解算后提供的预设的BlendShape组的权重值，于是索性从头开始，“软硬兼顾“地做了一套完整方案。

　　说完表演捕捉，再聊聊鹿鸣飘逸的秀发。为了提高头发的细节表现，米哈游并不满足于虚幻引擎 Groom默认的为了兼顾性能而偏线性的Strand插值算法，这可能使头发会被一些本不该对其产生影响的Guide Line所影响而产生“炸开”的情况竞技宝JJb，而Maya XGen的插值允许使用美术自定义的规则，从而满足特定美术效果需求。于是团队使用Maya XGen生成的数据作为Ground Truth的数据集，通过机器学习实现了一套Strand插值算法以模拟Maya中的插值效果，这才让鹿鸣的毛发变得丝丝顺滑～

　　同样使用了机器学习的还有肌肉模拟，尽管鹿鸣是个姑娘家细胳膊细腿，直觉上肌肉模拟的效果差别远不如肌肉男来的明显，但和微表情的捕捉一样，正确的肌肉模拟带来的细微形变显著提高了数字人的生动性与可信度。传统的有限元算法性能不足以实时解算，于是团队将机器学习与传统的有限元算法相结合，通过机器学习来加速有限元算法的求解以达到实时模拟。

　　最后不得不提的是布料模拟，这也是米哈游这几年一直在不断改进积累的领域，为了能做到实时解算并对标Houdini Vellum的效果，团队用CUDA实现布料与毛发的Solver，并能支持多GPU加速，大幅提高了解算速度，最终达到了30FPS的要求。

　　交流时和团队天南地北地聊了许多相关技术，由于受篇幅限制，这里能列出的不过是米哈游通过鹿鸣项目积累的技术宝库的冰山一角，还有不少重磅功能以及实现细节需要等时机成熟后由米哈游鹿鸣团队来揭晓。

　　而当被问及未来，团队认为升级虚幻引擎5会是今年一个重要的目标，尤其对虚幻引擎5中的Lumen、Substrate（即5.1的Strata）、Neural Network Interface等功能充满期待。

　　交流会后回到家，想到会上浓郁的技术氛围，想到讨论技术时团队成员放光的眼神，不免令人感慨，世人都羡慕米哈游至今每一款作品都能获得成功，我也不能免俗。但如今当我见识了这风光背后米哈游团队数年如一日，持之以恒，专注于技术，对技术不计成本的投入，耐心打磨每一个产品细节的付出后，倒也释然了。

　　最后，感谢鹿鸣团队的新老小伙伴们，期待将来米哈游的技术宅们用虚幻引擎5为世界带来更大的惊喜。

　　初见鹿鸣，不觉眼前一亮，“小姐姐”外表清新脱俗，神态举止俏皮可人，不由让人心中升起种恬淡悠然之感。不久后在2020虚幻引擎开放日上，米哈游总裁大伟哥的演讲首次揭秘了鹿鸣项目的幕后故事。方知鹿鸣项目的与众不同，她并非一个“功利”的商业项目，而是米哈游内部第一个虚幻引擎技术验证项目，立项初衷是受虚幻引擎GDC演示项目Siren启发，尝试将米哈游擅长的二次元赛璐珞风与虚幻引擎擅长的PBR写实风相结合，以求寻得一个平衡点，也就是如今大家见到的鹿鸣独有的渲染风格竞技宝JJb。

　　熬过疫情，鹿鸣在春节前成功完成了最新一期的直播。“呦呦鹿鸣，食野之苹”，恰逢大地迎春之际，让我们再一次探访鹿鸣，了解下她从“深闺”到台前的“成长”之路。

　　首先在项目的第一阶段，团队唯一的目标就是将渲染品质提高，以求做到对标影视级别，这可以说是一个纯LookDev阶段，所以不会过分纠结于一时的渲染及模拟效率。作为米哈游第一个虚幻引擎项目，团队许多人对虚幻引擎并不了解，不免担心影响工作进度。所幸虚幻提供的可视化编程功能——蓝图，对于新手十分友善，尤其对有其他引擎使用经验的团队来说，更是很快上手。这使得团队能够快速搭建场景或实现各种功能原型，并快速迭代来找到最佳方案。

　　而最受美术同学欢迎的要属Layered Material功能。有了它，美术可以方便地从材质库引入材质作为子层，将材质由shader蓝图的编辑变成了类似传统美术软件对层进行操作的逻辑，更符合美术的直觉，使得美术同学能很快学会在引擎中如何进行材质构建。而其每个层相对独立的特点，也使得材质的维护修改变得方便快捷。

　　而为了追求影视级品质，这一阶段的作品都是通过虚幻引擎的影片渲染队列（Movie Render Queue）功能进行离线生成的，所以生产管线也就类似传统离线CG的管线，而Python作为传统管线软件都支持的脚本语言，对于整个管线的自动化效率至关重要，虚幻引擎对Python的支持，使得引擎与传统CG流程管理软件、制作软件可以轻松衔接，大大方便了资产管理以及批量化资产导入导出。

　　一言以蔽之，彼时团队就是将虚幻引擎作为一个所见即所得的LookDev编辑器+离线渲染器来使用。

　　这一阶段直到UOD2020结束大半年后，团队确认了最终想要的风格以及品质标准后而告一段落。第二阶段的工作重点自然是大伟哥在虚幻开放日分享结尾立的flag——做直播！

　　直播意味着是整个流程从离线到实时的颠覆，从后期配音到实时语音合成，从表演捕捉后再将数据交给动画师精修变成实时的表演捕捉，从离线在其他DCC中进行布料、肌肉模拟解算再将结果导入引擎到全实时解算，从原先几分钟甚至十几分钟一帧的画面到1秒30帧，而这一切都还有一个大前提——必须保持离线的品质！

　　于是简单的两个字，团队走了近两年，在去年七月终于完成了鹿鸣的直播首秀，在保证了品质的同时，验证了整个实时处理流程框架；更在第二次直播时，根据粉丝的反馈，优化了管线、表情、物理模拟，使品质再上层楼。

　　要将虚幻实时渲染的品质达到MRQ离线渲染品质，难度不言而喻。所幸鹿鸣背后有着数以百计的算法科（Jì）学（Shù）家（Zhái）与软硬件工（Jì）程（Shù）师（Zhái）为其攻克道道难关。

　　第一道难关是动作捕捉中的重定向。由于动捕演员的身形各异并且动作风格不完全可控，想要鹿鸣有自然的表现，存在诸多的挑战。由于虚幻引擎4 官方还没有加入IK Rig Retargeting功能，团队自己实现了一个IK Solver，以使在重定向过程中避免穿模的同时，还能保证动作的稳定与自然。

　　而表情捕捉就更绝了，原以为鹿鸣这样的卡通角色，由于渲染上模型或材质上的细节不多，表情上稍微有点差别，画面上可能看不出什么区别，可以更容易地避免恐怖谷现象。然而理想很丰满，现实总是很骨感，正因为没有了模型上材质上的一些细节，表情的自然与否反而变得更加重要。为了能够获得更好的细节表现，米哈游需要获取面捕过程中的底层数据做定制优化，而不仅仅是商业方案解算后提供的预设的BlendShape组的权重值，于是索性从头开始，“软硬兼顾“地做了一套完整方案。

　　说完表演捕捉，再聊聊鹿鸣飘逸的秀发。为了提高头发的细节表现，米哈游并不满足于虚幻引擎 Groom默认的为了兼顾性能而偏线性的Strand插值算法，这可能使头发会被一些本不该对其产生影响的Guide Line所影响而产生“炸开”的情况，而Maya XGen的插值允许使用美术自定义的规则，从而满足特定美术效果需求。于是团队使用Maya XGen生成的数据作为Ground Truth的数据集，通过机器学习实现了一套Strand插值算法以模拟Maya中的插值效果，这才让鹿鸣的毛发变得丝丝顺滑～

　　同样使用了机器学习的还有肌肉模拟，尽管鹿鸣是个姑娘家细胳膊细腿，直觉上肌肉模拟的效果差别远不如肌肉男来的明显，但和微表情的捕捉一样，正确的肌肉模拟带来的细微形变显著提高了数字人的生动性与可信度。传统的有限元算法性能不足以实时解算，于是团队将机器学习与传统的有限元算法相结合，通过机器学习来加速有限元算法的求解以达到实时模拟。

　　最后不得不提的是布料模拟，这也是米哈游这几年一直在不断改进积累的领域，为了能做到实时解算并对标Houdini Vellum的效果，团队用CUDA实现布料与毛发的Solver，并能支持多GPU加速，大幅提高了解算速度，最终达到了30FPS的要求。

　　交流时和团队天南地北地聊了许多相关技术，由于受篇幅限制，这里能列出的不过是米哈游通过鹿鸣项目积累的技术宝库的冰山一角，还有不少重磅功能以及实现细节需要等时机成熟后由米哈游鹿鸣团队来揭晓。

　　而当被问及未来，团队认为升级虚幻引擎5会是今年一个重要的目标，尤其对虚幻引擎5中的Lumen、Substrate（即5.1的Strata）、Neural Network Interface等功能充满期待。

　　交流会后回到家，想到会上浓郁的技术氛围，想到讨论技术时团队成员放光的眼神，不免令人感慨，世人都羡慕米哈游至今每一款作品都能获得成功，我也不能免俗。但如今当我见识了这风光背后米哈游团队数年如一日，持之以恒，专注于技术，对技术不计成本的投入，耐心打磨每一个产品细节的付出后，倒也释然了。

　　最后，感谢鹿鸣团队的新老小伙伴们，期待将来米哈游的技术宅们用虚幻引擎5为世界带来更大的惊喜。

　　＂由于虚幻引擎4 官方还没有加入IK Rig Retargeting功能，团队自己实现了一个IK Solver，以使在重定向过程中避免穿模的同时，还能保证动作的稳定与自然。＂米家日常了属于是

　　＂由于虚幻引擎4 官方还没有加入IK Rig Retargeting功能，团队自己实现了一个IK Solver，以使在重定向过程中避免穿模的同时，还能保证动作的稳定与自然。＂米家日常了属于是

　　文中表情捕捉效果、头发动态效果、肌肉模拟效果和实时布料解算效果的动图（不知道能不能发成功）

　　文中表情捕捉效果、头发动态效果、肌肉模拟效果和实时布料解算效果的动图（不知道能不能发成功）

　　文中表情捕捉效果、头发动态效果、肌肉模拟效果和实时布料解算效果的动图（不知道能不能发成功）

　　文中表情捕捉效果、头发动态效果、肌肉模拟效果和实时布料解算效果的动图（不知道能不能发成功）

　　果然专注于技术才能长盛不衰。看看腾讯和字节的V差不多已经查无此人的状态，不免对米哈游更加充满信心了。

　　果然专注于技术才能长盛不衰。看看腾讯和字节的V差不多已经查无此人的状态，不免对米哈游更加充满信心了。

　　“米哈游并不满足于虚幻引擎Groom默认的为了兼顾性能而偏线性的Strand插值算法，于是团队使用Maya XGen生成的数据作为Ground Truth的数据集，通过机器学习实现了一套Strand插值算法以模拟Maya中的插值效果”

　　“于是团队将机器学习与传统的有限元算法相结合，通过机器学习来加速有限元算法的求解以达到实时模拟。”

　　重点中的重点：“这里能列出的不过是米哈游通过鹿鸣项目积累的技术宝库的冰山一角，还有不少重磅功能以及实现细节需要等时机成熟后由米哈游鹿鸣团队来揭晓。”

　　“米哈游并不满足于虚幻引擎Groom默认的为了兼顾性能而偏线性的Strand插值算法，于是团队使用Maya XGen生成的数据作为Ground Truth的数据集，通过机器学习实现了一套Strand插值算法以模拟Maya中的插值效果”

　　“于是团队将机器学习与传统的有限元算法相结合，通过机器学习来加速有限元算法的求解以达到实时模拟。”

　　重点中的重点：“这里能列出的不过是米哈游通过鹿鸣项目积累的技术宝库的冰山一角，还有不少重磅功能以及实现细节需要等时机成熟后由米哈游鹿鸣团队来揭晓。”

　　要将虚幻实时渲染的品质达到MRQ离线渲染品质，难度不言而喻。所幸鹿鸣背后有着数以百计的算法科（Jì）学（Shù）家（Zhái）与软硬件工（Jì）程（Shù）师（Zhái）为其攻克道道难关。

　　要将虚幻实时渲染的品质达到MRQ离线渲染品质，难度不言而喻。所幸鹿鸣背后有着数以百计的算法科（Jì）学（Shù）家（Zhái）与软硬件工（Jì）程（Shù）师（Zhái）为其攻克道道难关。

　　文中表情捕捉效果、头发动态效果、肌肉模拟效果和实时布料解算效果的动图（不知道能不能发成功）

　　文中表情捕捉效果、头发动态效果、肌肉模拟效果和实时布料解算效果的动图（不知道能不能发成功）

　　文中表情捕捉效果、头发动态效果、肌肉模拟效果和实时布料解算效果的动图（不知道能不能发成功）

　　文中表情捕捉效果、头发动态效果、肌肉模拟效果和实时布料解算效果的动图（不知道能不能发成功）

　　＂由于虚幻引擎4 官方还没有加入IK Rig Retargeting功能，团队自己实现了一个IK Solver，以使在重定向过程中避免穿模的同时，还能保证动作的稳定与自然。＂米家日常了属于是

　　＂由于虚幻引擎4 官方还没有加入IK Rig Retargeting功能，团队自己实现了一个IK Solver，以使在重定向过程中避免穿模的同时，还能保证动作的稳定与自然。＂米家日常了属于是

　　果然专注于技术才能长盛不衰。看看腾讯和字节的V差不多已经查无此人的状态，不免对米哈游更加充满信心了。

　　果然专注于技术才能长盛不衰。看看腾讯和字节的V差不多已经查无此人的状态，不免对米哈游更加充满信心了。

　　“米哈游并不满足于虚幻引擎Groom默认的为了兼顾性能而偏线性的Strand插值算法，于是团队使用Maya XGen生成的数据作为Ground Truth的数据集，通过机器学习实现了一套Strand插值算法以模拟Maya中的插值效果”

　　“于是团队将机器学习与传统的有限元算法相结合，通过机器学习来加速有限元算法的求解以达到实时模拟。”

　　重点中的重点：“这里能列出的不过是米哈游通过鹿鸣项目积累的技术宝库的冰山一角，还有不少重磅功能以及实现细节需要等时机成熟后由米哈游鹿鸣团队来揭晓。”

　　“米哈游并不满足于虚幻引擎Groom默认的为了兼顾性能而偏线性的Strand插值算法，于是团队使用Maya XGen生成的数据作为Ground Truth的数据集，通过机器学习实现了一套Strand插值算法以模拟Maya中的插值效果”

　　“于是团队将机器学习与传统的有限元算法相结合，通过机器学习来加速有限元算法的求解以达到实时模拟。”

　　重点中的重点：“这里能列出的不过是米哈游通过鹿鸣项目积累的技术宝库的冰山一角，还有不少重磅功能以及实现细节需要等时机成熟后由米哈游鹿鸣团队来揭晓。”

　　要将虚幻实时渲染的品质达到MRQ离线渲染品质，难度不言而喻。所幸鹿鸣背后有着数以百计的算法科（Jì）学（Shù）家（Zhái）与软硬件工（Jì）程（Shù）师（Zhái）为其攻克道道难关。

　　要将虚幻实时渲染的品质达到MRQ离线渲染品质，难度不言而喻。所幸鹿鸣背后有着数以百计的算法科（Jì）学（Shù）家（Zhái）与软硬件工（Jì）程（Shù）师（Zhái）为其攻克道道难关。竞技宝JJb竞技宝JJb