VtubeKit新版（XFaceKit）发布预告

pubzoner

预计在从2024年6月1-5日，发布VtubeKit-2024新版 改名为XFaceKit.

问题：XFacekit和VtubeKit有什么关系：

回答：

（1）  Vtubekit是XFaceKit的前身版本。

（2）  Vtubekit是对开源的deepfacelab和Deepfacelive的代码整合和功能添加。但是还是和原版一样，采用tensorflow作为神经网络引擎。然后加入了图形界面、媒体源多源采集（摄像头、视频文件、图片、系统截屏），增加了脸型调整，实时人脸遮罩分割等功能。还有训练器和素材处理其增添了多项便捷功能。底层采用的还是Deepfacelab和Deepfacelive的原始代码。

（3）  XFaceKit开始对系统基础进行重写，改用pytorch作为系统各个模块的神经网络框架（如模糊人脸筛选模型、脸型调整算法、换脸模型架构、遮罩模型、人脸特征点提取等）。模型的架构和文件格式也有新的变化。另外在换脸的流程pipeline细节也和DFL有所不同。XFacekit相比vtubekit在功能性、运行速度、效率上都有所较大提升。具体见各个模块功能说明。

XFacekit对系统和硬件有什么要求？

（1）  操作系统要求：XFacekit目前只能在Windows系统运行，在Windows10和Windows11经过测试可以运行，Windows7未测试过。

（2）  硬件要求：需要Nvidia的显卡，同时显卡驱动需要支持Cuda11.8的。如何查看自己的显卡驱动是否支持Cuda11.8.

问题：XFacekit还需要单独安装Cuda和CUDNN吗：

回答：不需要，XFaceKit程序中自带CUDA和CUDNN的文件。不需要再单独安装。自带的为CUDA 11.8的版本。  

问题：XFacekit相对DeepFacelab和Deepfacelive有哪些优点：

回答：

1.   软件包层面：XFaceKit是一个软件包整体，包含了换脸素材处理、模型训练、直播换脸，视频换脸。一个软件包即包含了全部功能。 而Deepfacelab和Deppfacelive是两个软件包。另外XFaceKit都是图形界面操作，操作快捷简单。

2.   直播换脸工具(Live)： （1）帧率和速度： XFaceKit比deepfacelive的在高分辨率下运行速度更快，解决了Deepfacelive在高分辨率（大于1280*720P）时候帧率太低的问题。1920*1080p都可接近实时帧率（2）调整脸型：可以通过拖动调整脸型。 （3）内置高精度分割模型实时分割人脸遮罩，遮罩没训练好的模型同样可以准确的处理遮挡物体。（4）输入图像增加了实时截屏  （5）增加换声功能  （6）模型支持新的fsm文件格式，同时兼容deepfacelive的dfm格式模型。（7）新增了换脸后超分修复功能，增加清晰度  （8）增加了人脸身份筛选，可以选择换脸的人脸对象（9）可以把输出直接传送到OBS虚拟摄像头

3.   素材处理(Lab)：(1) 可以多源采集（视频文件、截屏、图片集、摄像头采集），一键自动切脸，同时完成标记和分割遮罩写入。（2）多种批量文件重命名、素材移动筛选工具 （3）素材浏览器中可批量浏览遮罩特征点  （4）素材分析：自动分析生成素材角度分布图，浏览每个角度范围内的素材（5）采用神经辐射场和3d变形模型结合对素材进行角度和表情增补（6）升级的遮罩编辑器，可以自动生成可编辑多边形轨迹，提取五官区域，可以改变选取素材文件夹。 （7）素材超分辨率高清化处理、同时保留遮罩和特征点数据 （8）应用神经网络对模糊和低质量人脸筛选，比纯采用像素方差计算的传统方法准确率大幅度提升。

4.   模型训练(Train):  (1) 新的基于pytorch框架的模型结构和格，效率更高  （2）模型格式存储方式改变为单文件格式，换脸模型为fsm格式，遮罩分割模型为seg格式。 模型架构有多种架构可供选择。（3）训练模型和直播模型通用，可以不用再单独导出直播模型。 (4) 训练换脸模型将不需要训练遮罩了，同时节约了模型计算量、显存、和硬盘存储空间   （5）模型预览都采取五列，高分辨也能多列预览，最后一列直接是融合后的预览更接近现实效果，不只是换脸后的图（6）增加了src和dst共享素材。（7）增加了遮挡物随即增强功能，可以随即添加遮挡增强素材多样性  （8）导出每个人脸的loss值，可以同时导出src和dst每张素材的loss值，导出csv文件，帮你筛选哪些图现在训练效果还不好。

问题： XFaceKit是如何收费的？

回答：XFaceKit暂定方案为对素材处理组件（Lab）基础部分和模型训练（Train）不收费。Live免费程序会有AI提示的水印，如果需要无水印则需要付费。我们致力于持续更新和改进软件，并且持续利用最新的AI技术整合进软件。 我们不提供模型训练服务，使用者需要为自己提取素材和训练模型。  

问题： XFaceKit的直播器可以用dfl的dfm文件吗？

回答：可以的，XFaceKit支持fsm和dfm两种格式的模型文件。

july

B站铺天盖地的那个广告是你的吗？
DeepfaceBat那个

青青子衿

july 发表于 2024-5-23 22:24
B站铺天盖地的那个广告是你的吗？
DeepfaceBat那个

那个是倒卖的

july

青青子衿 发表于 2024-5-24 00:13
那个是倒卖的

怎么做到的，反编译吗？

青青子衿

july 发表于 2024-5-24 07:10
怎么做到的，反编译吗？

鬼知道他们的作案手法

anxinchubun

請問vtubekit是不是無法使用faceset.pak訓練?

独孤求败

july 发表于 2024-5-23 22:24
B站铺天盖地的那个广告是你的吗？
DeepfaceBat那个

不鼓励那些非法的盗卖
或串改他人代码占为己用
(若开源需说明为引用)

楼主的正版是肯定!

hokylin

软件老是出现未响应，卡得要死阿 。

pasanonic

相当于整合了 dfl和live吗?  dfl的模型能继承吗?

刚搜了下 发布了

DFL

为什么XFaceKit-Live的“AI替换”一点开软件就崩溃退出呢？老版的虽然也卡顿，但好歹还是能替换背景的，这个新版替换功能根本用不了，而且很卡顿。