3D Metahuman Interaction Demo using Unity Platform｜
3D Character Created by ReadyPlayerMe｜
Body Animations Using Mixamo｜
LMM & TTS using Volcano Engine Coze｜
ASR using Whisper｜
这是一个使用Unity开发的车载3D数字人PoC，主要用到了以下技术：
1，利用ReadyPlayerMe的服务，从图片生成3D模型。可以将多个模型置入应用，以便用户自由选择。模型匹配人形骨骼，脸部适配了Apple ARKit的BlendShape标准，便于角色的表情控制；
2，通过脸部BlendShape的参数调节，生成若干种表情动画。结合Mixamo网站下载的肢体动画，在与用户交互时做出适当的表情和动作；
3，使用OpenAI开源的ASR服务Whisper，在Unity中将用户的语音输入转换为文字；
4，通过火山引擎扣子平台的工作流设置，以用户的指令作为输入，调用合适的LLM生成回答。通过提示词，可以格式化大模型的输出数据，例如意图识别，与回答相匹配的情绪，动作指令等。最后利用合适的TTS服务生成语音，并在Unity中播报；
5，PoC中可以对3D角色的大小，位置，显示部位进行调节，以验证其在不同场景下所对应的合适状态。