查看: 195|回复: 6

我来转发一下 XFaceKit 240605(alpha) 下载链接

[复制链接]

472

积分

19

帖子

200

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
472
发表于 2024-6-5 17:18:50 | 显示全部楼层 |阅读模式
自从上一版本的VtubeKit在2023年12月份发布之后,已经过去半年时间,目前软件经历了底层的重构。
神经网络框架从tensorflow全部转换为pytorch。模型也采用了新的格式和架构,新的fsm模型同时支持训练和直播。
从本版起软件名和logo都发生更新:改名为XFaceKit。
-------------------------------------------------------------------------------

                               
登录/注册后可看大图


                               
登录/注册后可看大图


                               
登录/注册后可看大图


                               
登录/注册后可看大图


                               
登录/注册后可看大图


百度网盘下载链接(XFaceKit整合包):https://pan.baidu.com/s/1Evcqcc6tk2WAE3pkKAy4tQ?pwd=r9mq

预训练的模型和遮罩模型: https://pan.baidu.com/s/15kpsahg8ffL4VjhFU0D6ew?pwd=fv78
(备注:这些模型经过一些预训练,但是因为素材不充分,可根据自己的需求进一步补充素材继续训练。
fsm为换脸模型格式,vdf类似于df架构,viae类似于liae架构,dsn为全卷积架构。xseg和useg类型为遮罩模型)
-----------------------------------------------------------------------------
【系统要求】
只适用于Nvidia显卡的Windows系统
【版本包含程序】
Live-直播程序,Lab-素材处理程序,Train-模型训练程序

       直播换脸工具(Live):
(1)帧率和速度: XFaceKit比deepfacelive的在高分辨率下运行速度更快,解决了Deepfacelive在高分辨率(大于1280*720P)时候帧率太低的问题。1920*1080p都可接近实时帧率
(2)调整脸型:可以通过拖动调整脸型。
(3)内置高精度分割模型实时分割人脸遮罩,遮罩没训练好的模型同样可以准确的处理遮挡物体。
(4)输入图像增加了实时截屏  
(5)增加换声功能  
(6)模型支持新的fsm文件格式,同时兼容deepfacelive的dfm格式模型。
(7)新增了换脸后超分修复功能,增加清晰度  
(8)增加了人脸身份筛选,可以选择换脸的人脸对象
(9)可以把输出直接传送到OBS虚拟摄像头

3.        素材处理(Lab):
(1) 可以多源采集(视频文件、截屏、图片集、摄像头采集),一键自动切脸,同时完成标记和分割遮罩写入。
(2)多种批量文件重命名、素材移动筛选工具
(3)素材浏览器中可批量浏览遮罩特征点  
(4)素材分析:自动分析生成素材角度分布图,浏览每个角度范围内的素材
(5)采用神经辐射场和3d变形模型结合对素材进行角度和表情增补
(6)升级的遮罩编辑器,可以自动生成可编辑多边形轨迹,提取五官区域,可以改变选取素材文件夹。
(7)素材超分辨率高清化处理、同时保留遮罩和特征点数据
(8)应用神经网络对模糊和低质量人脸筛选,比纯采用像素方差计算的传统方法准确率大幅度提升。

4.        模型训练(Train):
(1) 新的基于pytorch框架的模型结构和格,效率更高  
(2)模型格式存储方式改变为单文件格式,换脸模型为fsm格式,遮罩分割模型为seg格式。 模型架构有多种架构可供选择。
(3)训练模型和直播模型通用,可以不用再单独导出直播模型。
(4) 训练换脸模型将不需要训练遮罩了,同时节约了模型计算量、显存、和硬盘存储空间   
(5)模型预览都采取五列,高分辨也能多列预览,最后一列直接是融合后的预览更接近现实效果,不只是换脸后的图
(6)增加了src和dst共享素材。
(7)增加了遮挡物随即增强功能,可以随即添加遮挡增强素材多样性  
(8)导出每个人脸的loss值,可以同时导出src和dst每张素材的loss值,导出csv文件,帮你筛选哪些图现在训练效果还不好。

评分

参与人数 1金钱 +1 符石 +3 收起 理由
孟德是也 + 1 + 3

查看全部评分

256

积分

19

帖子

14

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
256
发表于 2024-6-6 10:50:46 | 显示全部楼层
这软件,过了试用期好像就会被  无响应卡死阿 。说好的 免费呢 。

评分

参与人数 1金钱 +1 收起 理由
DFL + 1 我很赞同!

查看全部评分

回复

使用道具 举报

6万

积分

54

帖子

4479

符石

论坛元勋

Rank: 60Rank: 60Rank: 60Rank: 60

积分
66469

隐藏大神突出贡献论坛元老

发表于 2024-6-7 16:36:00 | 显示全部楼层
hokylin 发表于 2024-6-6 10:50
这软件,过了试用期好像就会被  无响应卡死阿 。说好的 免费呢 。

谁说是免费的了
QQ 2528413464
回复

使用道具 举报

6万

积分

54

帖子

4479

符石

论坛元勋

Rank: 60Rank: 60Rank: 60Rank: 60

积分
66469

隐藏大神突出贡献论坛元老

发表于 2024-6-7 16:45:46 | 显示全部楼层
QQ 2528413464
回复

使用道具 举报

378

积分

6

帖子

168

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
378
发表于 2024-6-7 23:26:00 | 显示全部楼层
为什么XFaceKit-Live的“AI替换”一点开软件就崩溃退出呢?体验太糟糕了,很卡顿,相同模型下deepfacelive流畅多了,说到底还是软件优化没做好。
回复

使用道具 举报

1万

积分

134

帖子

1532

符石

玉皇大帝

Rank: 16Rank: 16Rank: 16Rank: 16

积分
15827

隐藏大神突出贡献论坛元老

发表于 2024-6-9 15:17:18 | 显示全部楼层
DFL 发表于 2024-6-7 23:26
为什么XFaceKit-Live的“AI替换”一点开软件就崩溃退出呢?体验太糟糕了,很卡顿,相同模型下deepfacelive ...

没有软件是完美的
微软 谷歌 公司大不大?
他们三不五时一直推出修补程序
你更新过win作业系统就知道了
有问题跟作者反应,经作者仔细评估后
确认可行,他们就会著手修正程序
鼓励取代批评我认为这样比较好
以上个人观点并无任何恶意!
独孤求败遮罩/大力王 实时换脸QQ 138292555 电话验证138292555 微信 ‧飞机 wang_chun001
回复

使用道具 举报

378

积分

6

帖子

168

符石

金丹师

Rank: 3Rank: 3Rank: 3

积分
378
发表于 7 天前 | 显示全部楼层
独孤求败 发表于 2024-6-9 15:17
没有软件是完美的
微软 谷歌 公司大不大?
他们三不五时一直推出修补程序

渐进优化当然是对的,不过目前的情况是一用就崩溃退出,这已经是用不了的问题了,路还很长啊。
回复

使用道具 举报

小黑屋|ZhaTV ( 滇ICP备15003127号-4 ) |网站地图

GMT+8, 2024-6-18 08:21

Powered by Zhatv.cn

© 2022-2023

快速回复 返回顶部 返回列表