VtubeKit新版（XFaceKit）发布预告

（1）  Vtubekit是XFaceKit的前身版本。

（2）  Vtubekit是对开源的deepfacelab和Deepfacelive的代码整合和功能添加。但是还是和原版一样，采用tensorflow作为神经网络引擎。然后加入了图形界面、媒体源多源采集（摄像头、视频文件、图片、系统截屏），增加了脸型调整，实时人脸遮罩分割等功能。还有训练器和素材处理其增添了多项便捷功能。底层采用的还是Deepfacelab和Deepfacelive的原始代码。

（3）  XFaceKit开始对系统基础进行重写，改用pytorch作为系统各个模块的神经网络框架（如模糊人脸筛选模型、脸型调整算法、换脸模型架构、遮罩模型、人脸特征点提取等）。模型的架构和文件格式也有新的变化。另外在换脸的流程pipeline细节也和DFL有所不同。XFacekit相比vtubekit在功能性、运行速度、效率上都有所较大提升。具体见各个模块功能说明。

（1）  操作系统要求：XFacekit目前只能在Windows系统运行，在Windows10和Windows11经过测试可以运行，Windows7未测试过。

（2）  硬件要求：需要Nvidia的显卡，同时显卡驱动需要支持Cuda11.8的。如何查看自己的显卡驱动是否支持Cuda11.8.

1.   软件包层面：XFaceKit是一个软件包整体，包含了换脸素材处理、模型训练、直播换脸，视频换脸。一个软件包即包含了全部功能。 而Deepfacelab和Deppfacelive是两个软件包。另外XFaceKit都是图形界面操作，操作快捷简单。

2.   直播换脸工具(Live)： （1）帧率和速度： XFaceKit比deepfacelive的在高分辨率下运行速度更快，解决了Deepfacelive在高分辨率（大于1280*720P）时候帧率太低的问题。1920*1080p都可接近实时帧率（2）调整脸型：可以通过拖动调整脸型。 （3）内置高精度分割模型实时分割人脸遮罩，遮罩没训练好的模型同样可以准确的处理遮挡物体。（4）输入图像增加了实时截屏  （5）增加换声功能  （6）模型支持新的fsm文件格式，同时兼容deepfacelive的dfm格式模型。（7）新增了换脸后超分修复功能，增加清晰度  （8）增加了人脸身份筛选，可以选择换脸的人脸对象（9）可以把输出直接传送到OBS虚拟摄像头

3.   素材处理(Lab)：(1) 可以多源采集（视频文件、截屏、图片集、摄像头采集），一键自动切脸，同时完成标记和分割遮罩写入。（2）多种批量文件重命名、素材移动筛选工具 （3）素材浏览器中可批量浏览遮罩特征点  （4）素材分析：自动分析生成素材角度分布图，浏览每个角度范围内的素材（5）采用神经辐射场和3d变形模型结合对素材进行角度和表情增补（6）升级的遮罩编辑器，可以自动生成可编辑多边形轨迹，提取五官区域，可以改变选取素材文件夹。 （7）素材超分辨率高清化处理、同时保留遮罩和特征点数据 （8）应用神经网络对模糊和低质量人脸筛选，比纯采用像素方差计算的传统方法准确率大幅度提升。

4.   模型训练(Train):  (1) 新的基于pytorch框架的模型结构和格，效率更高  （2）模型格式存储方式改变为单文件格式，换脸模型为fsm格式，遮罩分割模型为seg格式。 模型架构有多种架构可供选择。（3）训练模型和直播模型通用，可以不用再单独导出直播模型。 (4) 训练换脸模型将不需要训练遮罩了，同时节约了模型计算量、显存、和硬盘存储空间   （5）模型预览都采取五列，高分辨也能多列预览，最后一列直接是融合后的预览更接近现实效果，不只是换脸后的图（6）增加了src和dst共享素材。（7）增加了遮挡物随即增强功能，可以随即添加遮挡增强素材多样性  （8）导出每个人脸的loss值，可以同时导出src和dst每张素材的loss值，导出csv文件，帮你筛选哪些图现在训练效果还不好。