# RobustVideoMattingGUI **Repository Path**: ymfjly/RobustVideoMatting ## Basic Information - **Project Name**: RobustVideoMattingGUI - **Description**: RobustVideoMatting的GUI版本，利用pyqt6搭建了简单的RobustVideoMatting的GUI界面，在此分享，分享依据GPL V3，希望能对各位有所帮助 - **Primary Language**: Python - **License**: GPL-3.0 - **Default Branch**: RVMGUI.SCTOOL - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 67 - **Forks**: 25 - **Created**: 2023-01-24 - **Last Updated**: 2025-07-16 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # RVM的GUI版本 以[Robust Video Matting](https://github.com/PeterL1n/RobustVideoMatting) 源码为基础，使用pyqt6以及qdarkstyle样式制作的RVM的GUI版本，并集成了其它工具，为二创作者和影视剪辑爱好者，提供一个集成工具库。
目前已经集成了[Segmengt Anything](https://github.com/facebookresearch/segment-anything)、[Buzz](https://github.com/chidiwilliams/buzz)、[Segment and Track Anything](https://github.com/z-x-yang/Segment-and-Track-Anything)、[AOT](https://github.com/yoxu515/aot-benchmark)、[PyCameraListProject](https://gitee.com/jiangbin2020/py-camera-list-project)、[MAM](https://github.com/SHI-Labs/Matting-Anything)、[groundingDINO](https://github.com/IDEA-Research/GroundingDINO)、[ContronNet](https://github.com/lllyasviel/ControlNet-v1-1-nightly)、[BiRefNet](https://github.com/ZhengPeng7/BiRefNet)、[sd-webui-birefnet](https://github.com/dimitribarbot/sd-webui-birefnet/blob/main/LICENSE)、[lama](https://github.com/advimman/lama)、[simple-lama-inpainting ](https://github.com/enesmsahin/simple-lama-inpainting)~~、[ROOP](https://github.com/s0md3v/roop)~~ 源代码，非常感谢RVM、SAM、ROOP、Segment and Track Anything、AOT、PySceneDetect、PyCameraListProject、controlnet的作者团队，以及所有开源依赖库、字体的制作团队。
python环境：使用RVM_GUI建议3.10版本。且目录最好都是英文命名
使用方法:python gui.py
## RVM GUI SCTOOL 自动/手动抠像效果 感谢B站@流云蕊，@樱桃是猫i，这里使用她们的视频作为抠像素材。
~~~ 源视频 自动抠像视频 手动抠像视频 ~~~

## RVM GUI SCTOOL v1.1.1界面 RVM GUI SCTOOL启动主界面

RVM自动抠像参数设置界面

RVM抠像界面

RVM抠像界面导入源视频/图片序列及对应抠像ALPHA蒙版视频/图片序列功能

RVM抠像界面导入源视频/图片序列及对应抠像ALPHA蒙版视频/图片序列设置菜单

RVM抠像界面导入源视频/图片序列设置菜单

RVM手动编辑界面

RVM手动编辑界面输出图像序列功能

RVM手动编辑-人像区域增加/消除工具

RVM手动编辑-人像区域增加工具演示动画

RVM手动编辑-人像区域消除减少工具演示动画

RVM手动编辑-源视频帧同步显示窗口

RVM手动编辑-源视频帧同步显示窗口演示动画

RVM手动编辑-源视频帧线稿同步显示窗口

RVM手动编辑-SAM(切分任意对象)工具-设置标记点

RVM手动编辑-SAM(切分任意对象)工具-分析出SAM区域

RVM手动编辑-SAM(切分任意对象)工具演示动画

RVM手动编辑-AOT(运动追踪)工具

RVM手动编辑-AOT(运动追踪)工具演示动画

RVM摄像头抠像工具

RVM训练UI界面

多国语言识别为文字工具BUZZ


## Robust Video Matting GUI 下载地址 RVM GUI V1.1.0（百度云盘）：https://pan.baidu.com/s/1c99sgQVE4kue7yAH0Ty5VQ?pwd=81sf RVM GUI V1.1.0（123云盘）：https://www.123pan.com/s/iQvxjv-Fo9Kd?提取码:4jvT RVM GUI V1.1.0（夸克云盘）：https://pan.quark.cn/s/d5a44f0cb708 SAM模型补充包链接（百度云盘）：https://pan.baidu.com/s/1-vcviEDjR5wrDopArYuVXA?pwd=04o6
SAM模型补充包链接（夸克云盘）：https://pan.quark.cn/s/01d17efaa271
whisper模型补充包链接（百度云盘）：https://pan.baidu.com/s/1p0cyd-ZvCCRK1eSlz0nEdA?pwd=z8tu
whisper模型补充包链接（夸克云盘）：https://pan.quark.cn/s/35a2521406eb

## Robust Video Matting GUI 各版本视频 RVM GUI V1.1.0新增功能及发布视频：https://www.bilibili.com/video/BV132HLeVE33/
RVM GUI V1.1.0新增功能P1预告视频：https://www.bilibili.com/video/BV1Yf421B7KQ/
RVM GUI V1.0.10_newfix修正版及新增功能说明：https://www.bilibili.com/video/BV1AC411s75y
RVM GUI V1.0.10及新增功能说明：https://www.bilibili.com/video/BV1tp421R7Dc
RVM GUI V1.0.9及新增功能说明：https://www.bilibili.com/video/BV1MM41197fo
RVM GUI V1.0.8操作演示：https://www.bilibili.com/video/BV1dj411475d
RVM GUI V1.0.8及新增功能说明：https://www.bilibili.com/video/BV1ew411v76T
RVM GUI V1.0.7及新增功能说明：https://www.bilibili.com/video/BV1B94y1x7o8
RVM GUI V1.0.6及新增功能说明：https://www.bilibili.com/video/BV1tX4y177vK
RVM GUI V1.0.5及新增功能说明：https://www.bilibili.com/video/BV14X4y117AS
RVM GUI V1.0.4及新增功能说明：https://www.bilibili.com/video/BV18M4y1y7Wo
RVM GUI V1.0.3及新增功能说明：https://www.bilibili.com/video/BV1L84y1g7Pn
RVM GUI V1.0.2及采样比参数说明：https://www.bilibili.com/video/BV1pN411c7b1
RVM GUI V1.0.1介绍：https://www.bilibili.com/video/BV1EY411B7V5
RVM GUI V1.0.0及操作说明：https://www.bilibili.com/video/BV1W24y127MU

## Robust Video Matting GUI 旧版本下载地址 RVM GUI V1.0.10_newfix修正版（百度云盘）：https://pan.baidu.com/s/1NSHgKr7W3Zo-oXhTjQALcg?pwd=47pt
RVM GUI V1.0.10_newfix_patch修正版补丁（百度云盘）：https://pan.baidu.com/s/1ITunjpnVyM_dFxIUL37Hwg?pwd=c7k5
RVM GUI V1.0.10_newfix修正版（夸克网盘）：https://pan.quark.cn/s/474d1146bb50
RVM GUI V1.0.10_newfix_patch修正版补丁（夸克网盘）：https://pan.quark.cn/s/180af723cbc3
RVM GUI V1.0.10_newfix修正版（123云盘）：https://www.123pan.com/s/iQvxjv-cu3Kd.html
RVM GUI V1.0.10_newfix_patch修正版补丁（123云盘）：https://www.123pan.com/s/iQvxjv-Zu3Kd.html
RVM GUI V1.0.9（百度云盘）下载：https://pan.baidu.com/s/1M1YDvm1C2jbiOTk5GbeQVQ?pwd=ibgh
RVM GUI V1.0.9（123云盘）下载：https://www.123pan.com/s/iQvxjv-CcvKd.html
RVM GUI V1.0.9（夸克云盘）下载：https://pan.quark.cn/s/f05f0b397c85
RVM GUI V1.0.8整合包链接：链接：https://pan.baidu.com/s/1HIBpq8v6QDFaxSedoOiyog?pwd=3wjz
RVM GUI V1.0.7整合包链接：https://pan.baidu.com/s/1YEMj4OoRfPzqMlv8oQb7iw?pwd=8pgc
RVM GUI V1.0.7 SAM模型补充包链接（百度云盘）：https://pan.baidu.com/s/1-vcviEDjR5wrDopArYuVXA?pwd=04o6
RVM GUI V1.0.7 whisper模型补充包链接（百度云盘）：https://pan.baidu.com/s/1p0cyd-ZvCCRK1eSlz0nEdA?pwd=z8tu
RVM GUI V1.0.6 整合包文件打包地址（百度云）：https://pan.baidu.com/s/1OP52r2NMFtSbs3ugvkpTzg?pwd=n3ww
RVM GUI V1.0.6 整合包文件打包地址（阿里云）：https://www.aliyundrive.com/s/iDNz2jDrxuk
RVM GUI V1.0.5 EXE文件打包地址：https://pan.baidu.com/s/1erm3eTz00_OH6sv5Nr7scA?pwd=o93f
RVM GUI V1.0.5 整合包文件打包地址：https://pan.baidu.com/s/1cDju2lBlMrSF6jhOKVkkDQ?pwd=opbj
RVM GUI V1.0.4 EXE文件打包地址：https://pan.baidu.com/s/1lB2J1BcduDP2AZJpe3cuFA?pwd=9adc
RVM GUI V1.0.3 EXE文件打包地址：https://pan.baidu.com/s/11rtTs2NtFRlwzeokXjw1sA?pwd=kw53
RVM GUI V1.0.2 EXE文件打包地址：https://pan.baidu.com/s/16bNi5iSdipSq3b331_np9w?pwd=bwhy
RVM GUI V1.0.1 EXE文件打包地址：https://pan.baidu.com/s/1VbYTpZDt61U7KBoF7nWMeQ?pwd=5hhl
RVM GUI V1.0.0 EXE文件打包地址：https://pan.baidu.com/s/1vxBR0qOib6zX_b5XSJXbFg?pwd=s5jd

## Robust Video Matting GUI 更新 * [2024年07月19日] 修复了内存保存模式下，手动编辑输出图片序列时遇到的bug。 * [2024年06月18日] 增加了批量自动RVM抠图功能，可以对一个文件夹下面所有的mp4文件进行抠图。 * [2024年06月17日] 增加了基于congrolNet预处理的源视频帧线稿对比显示窗口，可以帮助手动模式下更好的区分物品或人像区域。 * [2024年06月10日] 在原有的内存缓存模式之外，增加了更节省内存的硬盘缓存模式，即将除源视频读取过程之外的所有过程中帧数据的缓存改为硬盘png格式，相比内存缓存模式，会消耗更多的时间，但会节省大量的内存空间，因为png相比tensor数据具有明显的压缩优势，但会导致抠像区域有所损失和变化。 * [2024年05月31日] 手动抠像界面会继承RVM抠像界面背景颜色设置，在手动抠像界面中增加背景颜色设置功能。 * [2024年05月30日] 修改MAM模型默认计算模式由cpu模式，修改为cuda模式，开始进入V1.1.0版本。 * [2024年04月07日] 抽时间修复了对32位PNG进行抠像时跳出的BUG，修正了ONNX模型抠像后输出为图片序列时输出多张黑白图片的BUG。 * [2024年03月17日] 时隔一月，UP开始了新的征程（其实就是离职换公司了o(╥﹏╥)o），目前准备先整合CUTIE的功能。 * [2024年02月17日] 修复智能切分场景功能只能切分为一个文件时无文件输出的BUG，修复定长切分文件无时间戳重置导致切分MP4文件时出0000文件其它文件无法正常播放的BUG。 * [2024年02月11日] 使用动态调用替代了python310.dll及nvml.dll的静态调用，修复了一键包在未装有python3.10及nvidia显卡驱动的电脑上无法启动的问题（应该是，条件有限，使用虚拟机验证）。 * [2024年02月10日] 修复了由于无法连接huggingface.co无法下载bert-base-uncased模型导致无法启动的BUG。 * [2024年02月06日] 修复了更新pytorch等模块后BUZZ模块不能正常运行的bug，更新了buzz模块使用的whisper-large-v3模型。 * [2024年02月06日] 修正了手动编辑界面下自动切分为ptz文件时，如果无法切分为2个镜头以上会导致无ptz文件的BUG。 * [2024年02月03日] 完善基于AOT区域的MAM分析功能，修复了先打开ptz文件，再进行抠像会继承标记点数据的BUG。 * [2024年02月01日] 增加了基于多帧AOT区域进行MAM分析的功能，基于无边缘变化的AOT区域获得具有alpha边缘变化的人像抠除区域，但同时也会引入部分多余的抠像区域，可以通过后续的多帧SAM操作进行区域，可以获得更好的人像抠像效果。 * [2024年01月11日] 继续更新修改了svg图标，调整了图标的显示风格，获得更好的显示效果，主界面增加了开源许可和关于按钮，从RVM GUI界面中移除了关于按钮。 * [2024年01月11日] 增加了固定时长切分场景功能，专为长视频准备，可以根据设置以秒为单位进行切分；改进了收缩腐蚀和扩展膨胀算法，提高了区域运算的速度；更新修改了svg图标，获得更好的显示效果。 * [2024年01月10日] 增加了SAM模式下多帧文字标签分析功能 * [2023年12月29日] 增加了SAM标记模式下的背景标记点功能、SAM模式下仅保留SAM模型功能。 * [2023年12月28日] 增加了SAM模型文字标签模式，缩小了RVM GUI界面，抠像过程显示隐藏掉之后可以把尺寸调整的更小了。 * [2023年12月27日] 增加了MAM模型文字标签模式。 * [2023年12月24日] 开始升级到v1.0.10版本，增加了抠像分割模式下的MAM标记分析模式，与SAM相比，分析出来的抠像区域相对人像头发等部分有了虚化边界，取得了更好的抠像效果，但是对于部分物品还是无法准确分离，UP会继续考虑其它路线和方案。 * [2023年12月20日] 使用IMgui撰写了RUNGUI.EXE，可以实现启动环境的检 测，以及程序本体占用物理内存/虚拟内存的情况和历史曲线，如果调用NVIDIA显卡，还可以查看程序本体对各个显卡核心及显存的使用情况。 * [2023年12月13日] 增加基于C/C++编写的启动程序，以后可以使用rungui.exe启动程序了，并且增加了一体化python以及系统内置python的检测，以及中文目录名的提醒。 * [2023年10月25日] 修复各种自己测试使用时遇到的BUG。 * [2023年10月25日] 改进了源视频帧对比显示功能，增加了同步缩放和放大状态下的移动功能，修复了高斯模糊参数输入窗口的输入BUG。 * [2023年10月24日] 为摄像头模式增加了摄像头列表及选择功能。 * [2023年10月22日] 为AOT增加了当前帧区域扩展膨胀、区域收缩腐蚀、区域边缘高斯模糊功能，帧区间重置区域、区域扩展膨胀、区域收缩腐蚀、区域边缘高斯模糊功能。 * [2023年10月20日] 为SAM区域增加了区域处理菜单，增加了重置区域、区域扩展膨胀、区域收缩腐蚀、区域边缘高斯模糊功能。 * [2023年10月19日] 增加了AOT的CPU模式，没有NVIDIA显卡的小伙伴也可以使用AOT运动追踪功能了，该模式在未找到cuda支持是将自动切换，不过速度比较慢，请使用的小伙伴有点耐心。 * [2023年10月15日] 增加左键移动画面功能，增加mp4视频切分为mp4场景文件功能，修复抠像区域增加/扣除功能中圆形区域bug，增加手动编辑后输出为视频文件功能，增加了源视频帧同步对比显示功能。 * [2023年10月13日] 修复大小值为奇数时圆形区域崩溃BUG，修复大小值为奇数时方形区域偏移1像素BUG，修复AOT帧数+当前帧序号超过总帧数时崩溃BUG，修复圆形区域边缘残留BUG，修复手动编辑界面关闭后抠像区域内存残留BUG。 * [2023年10月09日] 修复BUG，增加SAM区域AOT运动追踪功能,AOT区域扣除功能。 * [2023年09月20日] 最近是在出差过程中挤出时间，进行的更新，这次主要是增加了AOT抠像区域追踪功能，同时增加了SAM功能中的SAM区域抠除功能，并修复了一些BUG。 * [2023年08月22日] 最近工作累的够呛，干了两天通宵，好几天了都没缓过劲来，所以这两天主要是在休养，外加修正了手动编辑界面的界面，输出图片序列功能里增加了源视频图片，以便于后期编辑。另外PS一下，作为一个单身狗，讨厌七夕节，o(￣ヘ￣o＃)。 * [2023年08月15日] 补充了buzz工具并再次整理了软件框架，将RVM_GUI进一步补充ROOP和BUZZ后，作为二次创作的工具库使用。 * [2023年08月12日] 应小伙伴的要求，补充了roop的功能。 * [2023年08月11日] 开始更新至v1.0.7版本，为手动编辑模式增加了SAM功能，可以通过多点标记更快的补全人像区域，进一步减少手动编辑的工作量。 * [2023年08月08日] 应小伙伴的要求，补充了一个简单的实时摄像头抠像功能。 * [2023年08月01日] 前一段时间各种出差，缓了好一段时间才缓过劲来，最近几天自己利用手动编辑功能修正了几段视频，根据自己的体验改善了手动编辑界面的一些别扭操作，同时也修正了一些RVMGUI和手动编辑界面的BUG，希望后面几天可以顺利的把视频给剪辑好，能发到B站上，自己给自己加油ヾ(◍°∇°◍)ﾉﾞ。 * [2023年07月20日] 修正了rvm算法界面中读取ini文件中中文路径会导致界面崩溃的bug。 * [2023年07月19日] 补充requirements_rvmgui.txt使用pipreqs生成的依赖文件，但未经过测试，希望有人使用的话可以反馈一下，我可以及时处理。 同时，建议使用python版本为3.10版本。 * [2023年06月21日] 修正1.0.6版本功能BUG * [2023年06月20日] 距离上次大更新有一个多月了，这次应该就是1.0.6版本了，修改了软件整体架构，增加了启动界面，并切分了RVM抠像以及RVM训练两个模块，制作了RVM训练GUI，可以通过该GUI实现4个阶段的训练。同时在RVM抠像GUI中增加了简单的抠像后alpha通道编辑功能，可以对逐帧对抠像进行再编辑和调整，实现更好的抠像效果，不过该功能纯手动操作，目前主要目的是为后期有针对性的对RVM抠像模型训练提供素材，每次编辑完一帧要点击保存，可以把连续多帧保存成为ptz文件，后面可以通过编辑ptz功能读取后再进行编辑，由于ptz就是把保存的tensor的pt文件压缩一下，所以文件极大，1920x1080的大概一帧100多MB，建议一次保存不超过100帧。 PS：训练对硬件要求极高，我的4080LAPTOP，12G显存，16GB内存+200GB虚拟内存，跑stage1差不多十几个小时跑完了epoch1，然后我缩减了训练集，差不多4个小时一个epoch，跑到了epoch6，就实在跑不下去了；stage2我的12GB显存不够，验证不了；stage3初步跑了一下应该可以；stage4我没有找到imagemate的数据集，验证不了，如果谁的硬件够，可以验证一下，遇到问题可以一起交流一下。 * [2023年05月13日] 更新了gui界面提示，进一步优化了抠像流程，稍微提高了抠像速度（只输出合成抠像，不开启抠像过程显示），修正了ONNX框架下缩放出错导致的bug，改进了抠像过程的print内容和信息。 * [2023年05月01日] 终于结束出差回家了，这段时间根据小伙伴的要求，我废寝忘食、呕心沥血，终于增加了抠像视频fgr、pha和com输出时缩小并移动位置的功能，应该可以适应纯色背景、图片背景和视频背景（后两个还没有详细试验，时间比较紧张，可能存在bug，后续会根据反馈修正）。 * [2023年04月30日] 完善GUI，再次统一整理了框架，补充模型框架参数，在pytorch的基础上，增加了ONNX_FP32和ONNX_FP16参数的选择和设置，简单测试下，CPU计算模式下，ONNX_FP32比pytorch明显更快，ONNX_FP16无运行，CUDA模式下，三种模型框架的速度都差不多。 * [2023年04月29日] 整理了inference.py的调用接口，将模型调用、读取都统一放到了inference.py里。出差近十天，期间尝试使用ONNX模型框架进行加速，发现onnxruntime使用CUDA模式加速不明显，使用TENSORRT模式由于downsample_ratio类型和动态轴输入的原因，一直无法成功使onnxruntime得tensorrt模式加速，后续准备直接用python调用tensorrt模型动态shape看看能不能提高速度。 * [2023年04月19日] 增加了对ONNX框架模型的支持，增加了ONNX-FP32和ONNX-FP16两个模型框架，但GUI界面还未修改，后面准备增加GUI相关设置项。 * [2023年04月16日] 增加了开始抠像判断，如果没有勾选com输出图像并且选择抠像过程显示，则会进行提示。 * [2023年03月30日] 增加了抠像过程中，显示源视频图像和com输出图像的功能，对界面启动进行了改进，使窗口可以居中显示了。 * [2023年03月25日] 修正了中断抠像后，再次抠像一帧就中断的BUG。 * [2023年03月18日] 向源文件中补充了部分注释，在GUI中增加输出抠像内容的选择，可以在com合成抠像、fgr前景抠像、alpha透明度抠像三者中任意组合。 * [2023年03月15日] 修正已发现的BUG，增加停止抠像按钮和中途停止抠像功能,修改inference.py并在GUI中增加任意背景颜色设置功能。 * [2023年02月24日] 增加下采样比设置功能及说明，增加了窗口图标显示，使用的是ByteDance IconPark的资源，补充了一部分控件的tooltips。 * [2023年02月23日] 增加抠像模型选择功能，可以在官方给出的mobilenetv3或resnet50两个模型之间进行选择，同时增加了NVIDIA CUDA设备是否存在的判断，补充了一部分注释，并重新整理一下代码，改进了调用方式，通过import之后运行run函数，应该可以调用了。 * [2023年02月06日] 在关于窗口中增加了使用开源模块的说明，修复了图片序列输出类型下，抠像完毕弹出输出目录不正确的bug。 * [2023年02月05日] 增加了图片序列输出功能，输出的图片序列将分别放在输出目录的com、fgr和pha子目录中，并修改了读取默认参数文件时，如果参数不存在会跳出的bug。 * [2023年01月30日] RVM GUI代码以 GPL-3.0 许可发布。 ## 后续更新计划 最近没少出差，我抽空根据小伙伴们的想法进行了一些更新，也在构思一些新的功能想法，至于训练模型的想法，目前还是没办法排上日程，主要是电脑硬件不行，只能等再攒攒预算，看看啥时候能弄个好点的显卡，在试试了，不过放弃是不会放弃的，继续当做梦想吧。 * ~~鉴于RVM抠像对于汉服等细节还不够好，想在后续增加手动调节和校正的功能，这个也放到计划里面吧。~~ * ~~至今为止已经有好几个小伙伴提议增加视频流和摄像头输入的抠像，我不知道能否成功，先放到计划里面吧。~~ * ~~最近出了SAM，了解了之后，准备把SAM和RVM结合一下，想使用SAM分割人像之后和RVM的抠像结合一下，取个并集，看看是否可以得到更好的抠像结果。~~ * 后续想把tensorrt的模型给弄出来，看看到底能不能实现提高速度的目的，前段时间，出差的时候抽时间尝试了一下，使用onnxruntime通过TENSORRT模式加速，遇到了各种问题，各种困难，关键是在bing和baidu上都没有解决方案，直到最后，好不容易通过去掉downsample_ratio输入和动态轴输入，初步实现了onnxruntime的tensorrt推理，但是在运行时又卡住了，感觉一步一坎，太痛苦了，不过后续想用pth->onnx->tensorrt模型，通过python的tensorrt模块直接利用动态shape调用rvm的tensorrt模型，看看能不能实现rvm的tensorrt加速。（再努力试试吧，感觉难度好大） * ~~如果时间允许，会增加一个简单的将源视频缩小为原始大小1/N，并放置在任意位置的功能（这个功能已经兑现了，就准备去掉了）。~~ * 如果时间和条件允许，会尝试进行训练，如果可行，后续会建立汉服人像的抠像训练集，并最终实现汉服人像的稳定抠像，但是这个目标过于远大，而且感觉如果没有稳定的支持和支撑，大概率会凉凉，不过不耽误现在想一想嘛。 * ~~准备在AOT功能中，对抠像区域的运动跟踪之外增加SAM区域的跟踪功能，实现对SAM标记识别之后的特定物体区域进行跟踪，并增加AOT的差集合成功能，用来从抠像区域中移除掉AOT区域（主要用于对AOT跟踪的SAM物品区域的移除），进一步提高效率。~~ * ~~准备应小伙伴要求，在手动编辑功能中增加视频片段输出功能，在主gui或者rvmgui界面中增加图片序列合成视频mp4功能。~~ * ~~准备应小伙伴要求，在主gui界面增加傻瓜式一键抠像功能（就是使用默认参数直接对mp4抠像，比较方便，但后续估计不会针对此功能进行改进，主要是没有改进的手段）。~~ * ~~准备基于SAM和AOT增加一个不经过RVM直接对视频/图片序列/图片进行半手动抠像的功能（还在思考）。~~ * ~~之前有小伙伴反应无法移动画面，考虑按下鼠标滚轮移动可能不太好用，在手动编辑GUI中增加了鼠标左键移动画面的功能，作为按下鼠标滚轮移动画面的补充，不过在SAM标记点编辑模式中，只有在标记点区域外才能移动移动画面，按下鼠标滚轮移动的操作方式也并未去掉，依旧可以使用。~~ * ~~准备修复抠像区域增加/消除功能中，使用圆形区域工具边缘存在痕迹并导致程序崩溃的BUG。~~ * ~~准备增加RVMGUI界面下直接对视频进行切分的功能。~~ * ~~在手动编辑界面增加一个源视频图片的对照窗口，并增加鼠标位置的同步显示。~~ * ~~后续想把AOT增加一个cpu可以运行的版本，这样可以增加一下适用性，就是不知道能不能实现，感觉改起来挺麻烦的，可能改完运行起来还非常慢。~~ * ~~增加基于C/C++的启动器。~~ * ~~在手动编辑模式下，增加基于标记点的单帧MAM分割模式。~~ * ~~通过groundingdino实现文字对象的识别。~~ * ~~取消RVM抠像界面的界面尺寸锁定，进一步减小界面。~~ * ~~为摄像头抠像界面增加CUDA模式，在摄像头抠像界面如果检测到CUDA加速，则自动切换为CUDA模式。~~ * ~~使用MAM/SAM进行多帧跟踪和自动抠像（单一人类抠像效果应该还可以？？）。~~ * ~~结合参考帧标记点以及后续AOT区域进行判断，实现多帧的SAM/MAM抠像（一个新的思路？）~~ * 对关键帧进行运动追踪之后的AOT区域进行核心抽点采样/边框区域计算，再进行SAM/MAM模型抠像，从而获得比AOT区域更好的分割区域。 * ~~尝试整合CUTIE的抠像功能。~~ * 尝试将抠像时视频解码替换为PyNvCodec，提高抠像时对GPU的使用效率。 * ~~进一步进行优化，减少内存占用（尽量）。~~ * ~~复现并修正V1.0.10版本中图片背景跳出bug。~~ * ~~结合controlnet等实现线稿边缘提取，提供边缘提取对比窗口，便于手动抠像。~~ * ~~增加对目录下所有图片的离散图片抠像功能。~~ * ~~修改MAM模型默认计算模式由cpu模式，修改为cuda模式计算，如果没有检测到cuda，才会使用cpu计算。~~ * ~~在手动抠像界面中增加背景颜色设置按钮，可以修改绿幕背景为其它颜色。~~ * ~~增加BiRefNet自动抠像功能~~ * ~~将SAM模型更新为SAM2.1。~~ * 增加手动抠像界面中的BiRefNet抠像功能支持（这个up还是觉得需要再考虑考虑） * ~~增加Lama去水印功能~~ * ~~增加手动编辑导出alpha抠像结果功能~~ * ~~增加mov文件导出或者带alpha的MP4文件导出功能~~ * ~~完善BiRefNet自动抠像，增加抠像完毕后弹出explorer窗口功能~~ * ~~为BiRefNet自动抠像附加声音~~ * ~~为RVM自动抠像附加声音~~ * ~~为自动抠像输出SRC文件（源视频与抠像后输出视频可能存在码率/帧数不统一导致不同步问题）~~ ## 项目成员 * [天涯1986]https://gitee.com/ymfjly，https://space.bilibili.com/1793767837)
## 第三方资源 * [Robust Video Matting](https://github.com/PeterL1n/RobustVideoMatting) ([@PeterL1n](https://github.com/PeterL1n)) * [SAM](https://github.com/xinntao/Real-ESRGAN) ([@xinntao](https://github.com/xinntao)) * [ROOP](https://github.com/s0md3v/roop)([@s0md3v](https://github.com/s0md3v)) * [Buzz](https://github.com/chidiwilliams/buzz)([@chidiwilliams](https://github.com/chidiwilliams)) * [PyQtDarkTheme](https://github.com/5yutan5/PyQtDarkTheme)([@5yutan5](https://github.com/5yutan5)) * [抠像视频素材@流云蕊](https://space.bilibili.com/21488480)