gcjordi / video-auto-wipe

Erase specific content from the video that you don't wanna see

Video-Auto-Wipe

  Note：这个项目展示的是我在视频擦除方面的一些探索。目前已实现的功能有三个：字幕擦除，图标擦除和动态遮挡物擦除。目前仅分享了字幕擦除，图标擦除我担心有些不好的应用暂时未开源。后续我想实现的内容包括：广告擦除，背景人擦除和敏感内容擦除。相关介绍可以参阅我的研究笔记。
  注意，这个项目的开源协议为GPL-3.0，您可将其当作工具使用，但不建议您用在商业软件之中。

效果预览

1. 字幕擦除

查看视频

  字幕擦除模型的功能是模型自动感知到视频中字幕的位置然后进行擦除，感知字幕的方法为具有统一样式的文字区域被视作字幕。

2. 图标擦除

查看视频

  图标擦除模型的功能是模型自动感知到视频中图标的位置然后进行擦除，感知图标的方法为在时域上静止不动的像素块被视作图标。

3. 动态图标擦除

查看视频

  动态图标擦除模型的功能是模型自动感知到视频中动态图标的位置然后进行擦除，感知动态图标的方法为在时域上闪烁出现或动态移动的固定像素块被视作动态图标。

使用方法

1.环境配置

  torch>1.0
  其他的缺什么依赖就pip install xxx，需要的东西不多

2.运行方法

  下载预训练文件放在pretrained-weight文件夹里。
    预训练模型下载地址：链接：https://pan.baidu.com/s/1JN9-8Glw_ozOrSMgBIyHOw 提取码：px0s

  更多的输入样例下载地址：https://pan.baidu.com/s/1_tzmvIoEQi3h_24-ieZJ_Q 提取码：cnqf

  运行python demo.py。

训练方法

训练数据

背景数据制作

  1.基于搜集的300余部高清电影制作了2,709部电影片段数据集；
    下载地址：https://pan.baidu.com/s/1CIgJmFmx5iR2JfgAyjVaeg 提取码：xb7o

  2.基于搜集的40余部综艺节目制作了864部综艺片段数据集；
    下载地址：https://pan.baidu.com/s/1lJk6IIWlwxknAie0LlGYOg 提取码：9rd4

前景数据制作

  1.字幕擦除：利用ImageDraw库生成随机样式、字体的文字，并模拟其变换；
  2.图标擦除：利用ImageDraw库生成随机的像素区块，并模拟时域一致性（固定在视频中的某一个区域）；
  3.动态图标擦除：利用PR软件制作闪烁、跳跃等字幕的动态特效，模拟动态图标的场景。

训练过程

  第1步. 针对特定任务的时域感知训练，即让模型能感知到需被擦除的前景数据；
  第2步. 融合进擦除模型，进行端到端的微调训练。

后续计划

  后续我想实现广告、人物和敏感内容擦除等方向。填补技术效果已经不错了，难点在于感知。图标感知可以利用区域一致性实现，字幕感知可以利用模式一致性实现。人物感知要如何实现？广告感知要如何实现？这种设计不能有缺漏，估计得结合数据本身的规律去做才行。。