服务器之家:专注于服务器技术及软件下载分享
分类导航

服务器资讯|IT/互联网|云计算|区块链|软件资讯|操作系统|手机数码|百科知识|免费资源|头条新闻|

服务器之家 - 新闻资讯 - IT/互联网 - 苹果开发生成式 AI 技术 HUGS:30 分钟内创建“数字化身”

苹果开发生成式 AI 技术 HUGS:30 分钟内创建“数字化身”

2023-12-20 11:06未知服务器之家 IT/互联网

IT之家 12 月 20 日消息,苹果机器学习研究团队近日发布博文,展示了全新的生成式 AI 技术-- HUGS, 能够在 30 分钟内分析短视频,然后映射创建新的动作和角度。 苹果研究员 Anurag Ranjan 发布推文,表示 HUGS 的全称叫作 Human Gaussian

IT之家 12 月 20 日消息,苹果机器学习研究团队近日发布博文,展示了全新的生成式 AI 技术-- HUGS,能够在 30 分钟内分析短视频,然后映射创建新的动作和角度。

苹果开发生成式 AI 技术 HUGS:30 分钟内创建“数字化身”

苹果研究员 Anurag Ranjan 发布推文,表示 HUGS 的全称叫作 Human Gaussian Splats,使用机器学习和计算机视觉,在原始输入数据较少的情况下,创建出逼真的人像元素。

苹果官方介绍中表示神经渲染技术目前已经有了长足的进步,但最适合的场景依然是静态场景的摄影测量,还无法推广到环境中自由移动的人类。

HUGS 使用 3D Gaussian Splatting 的技术,在场景中创建可移动的人类。

该方法本身需要少量的主体视频,通常在场景中运动,并显示尽可能多的表面供系统工作。

在某些情况下,该技术对源输入数据的要求很低,最少可以低至 50 到 100 帧的单目视频,相当于 2 到 4 秒的 24fps 视频。

苹果声称,该系统已经过训练,可以“在 30 分钟内解开静态场景和完全可动画化的人类化身”。

苹果表示 SMPL 体模型虽然用于初始化人类高斯模型,但无法捕获每个细节。对于未建模的元素(如布料和头发),该过程可以偏离 SMPL 模型,来填补模型捕获中的空白。

苹果官方表示从训练视频到以 60fps 的渲染速度输出,能够在半小时完成人体建模和“最先进的渲染质量”动画,这比 NeuMan 和 Vid2Avatar 等其它方法快 100 倍。

IT之家附上论文参考地址如下:

Project: https://machinelearning.apple.com/research/hugs

Xiv: https://arxiv.org/abs/2311.17910

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

延伸 · 阅读

精彩推荐