On video editing

相关文章

CVPR

  • 2015 CVPR Region-based temporally consistent video post-processing
    • http://www.stat.ucla.edu/~yuille/
    • http://www.stat.ucla.edu/~zhuyu/
    • present a technique to stabilize video frames processed by an unknown image filter that can be expressed as nonlinear curves applied to regions of the original video frames.
    • 基本思想:借鉴视频时空增强描述,  阐述了很多对视频进行时空增强的方法,非常不错; 将视频帧分割为各种相似区域,并根据时刻一致性建立区域对应关系,将区域增强描述为带有三部分信息的能量函数,包括数据项,平滑项和时刻一致项,用LBP进行优化求解即可/

ECCV

  • 2014 ECCV Intrinsic video

SIGGRAPH

  • 2015 SIGGRAPH Blind Video Temporal Consistency
    • http://liris.cnrs.fr/~nbonneel/consistency/
    • 有Code,Windows下的VS工程;
    • 基本思想:非常不错的一篇文章,给出原始视频序列,给出增强后的视频训练,建立了一个能量优化函数进行平滑处理,将问题描述为能量优化问题,根据输入视频来对增强视频;
    • 相关工作:阐述了很多相关的视频编辑文章,非常不错;We formulate our algorithm in the gradient domain and propose an energy function that amounts to a spatial screened Poisson equation with temporal constraints that we can solve efficiently
  • 2014 SIGGRAPH Temporally coherent local tone mapping of hdr video
    • http://www.disneyresearch.com/wp-content/uploads/Temporally-Coherent-Local-Tone-Mapping-of-HDR-Video-Pub-Paper.pdf
    • consistent by decomposing HDR content into base and detail layers, and temporally filtering the base layer more aggressively.
    • 基本思想:时空一致性的HDR视频下Tone mapping,阐述了一些滤波算子和时空一致性;Tone mapping 就是将HDR进行曲线压缩,但会降低图像的对比度;本文主要的工作在于提出了时空滤波算子;将图像分解为Base layer和detail layer,在base layer下面进行各种操纵,最后融合detail layer即可。
  • 2014 SIGGRAPH Intrinsic Video and Applications
    • http://media.au.tsinghua.edu.cn/yegenzhi/IntrinsicVideo.htm
    • 基本思想:
    • 相关工作:文笔和思想都非常相关;They first estimate correspondence between frames, and then temporal ly filtering matched pixels. For unmatched pixels, a reflectance completion algorithm is proposed to blend those pixels with neighboring matched pixels; 有一段介绍时空视频编辑的;
  • 2014 SIGGRAPH Interactive intrinsic video editing
    • http://liris.cnrs.fr/~nbonneel/intrinsic.htm
    • 基本思想:提出了一种将图像分解为光照和纹理部分,将彩色图像转为灰度图像,灰度图像为光照和纹理之积,但光照和纹理满足一定的约束,从而建立一个目标函数;提出了一套优化方案进行求解;为了扩展到视频下用光流场建立映射关系,形成带有时空信息的能量函数并进一步求解;为了提高精度,可以融合用户的交互信息,在能量函数下增强更多约束信息,并提出优化策略进行求解。
    • 相关工作:有部分相关之处;
    • 正文部分:非常相关;
  • 2014 SIGGRAPH Temporally coherent video de-anaglyph
  • 2014 SIGGRAPH Transient Attributes for High-Level Understanding and Editing of Outdoor Scenes.
    • Pierre-Yves Laffont, Zhile Ren, XiaofengTao, Chao Qian, and James Hays.
    • http://cs.brown.edu/~hays/
    • http://transattr.cs.brown.edu/
    • 基本思想:提出了一种属性识别的方法。通过语意分析来分解图像,提取一些外观例如HOG, SIFT特征,GIST,用三种回归分析的方式(SVR, SVM)来预测和估计颜色变换,可以用来进行图像检索;针对颜色替换部分,用输入图像先检索到相似图像,在给出相似图像在不同属性下的图像,引导着学习出一个迁移函数,完成迁移功能。
    • 有Code,Matlab代码,涉及到SIFT,Fisher Vector,回归分析,非常不错,值得深入研究;
  • 2013 SIGGRAPH A Sparse Control Model for Image and Video Editing
  • 2013 SIGGRAPH Data-driven Hallucination for Different Times of Day from a Single Outdoor Photo
    • http://people.csail.mit.edu/yichangshih/time_lapse/#code
    • 基本思想:用一套预存的视频集合来拟合一个输入图像,根据全局特征检索到最相似的图像,根据图像块检索到匹配对,用仿射变换矩阵建立一个能量函数,其中为了避免噪声影响用双边滤波将原始图像解析为base_layer和detail_layer,先对base_layer进行处理,然后用detail_layer保留细节。
  • 2013 SIGGRAPH Patch-based High Dynamic Range Video
  • 2013 SIGGRAPH Example-Based Video Color Grading
    • Bonneel, N.; Sunkavalli, K.; Paris, S.;Pfister, H.
    • http://gvi.seas.harvard.edu/publications
    • http://gvi.seas.harvard.edu/paper/examplebased-video-color-grading
    • Paper
    • 基本思想:为了实现颜色迁移,将视频帧和引导图像的颜色解析为亮度和色调部分,亮度转换用一个映射曲线表示,色调用三个仿射矩阵表示,分别代表了阴影区,高亮区和中间地带;同时对前景和背景独立处理,并且用了边缘滤波保持细节;为了保持时序颜色迁移的一致性,用了一个双曲线滤波对颜色转换进行处理。
    • 基本思想:侧重于对视频时空一致性下的颜色进行调整,在关键帧中以LAB为颜色空间,L分量用投影曲线表示映射关系,A,B 分量用仿射矩阵表示映射关系;为了保证时空一致性,用时间滤波子进行拟合。
  • Optimizing color consistency in photo collections

Others

思考

  1. 用高斯回归,得到每个灰度值对于得颜色均值和方差;
  2. 提出一个颜色合成回归模型,随着场景的变换进行模型的迭代更新;
  3. 贡献点一:属于数据驱动方法;相比其他方法用一幅图像进行区域,提出了用语义区域进行驱动;
  4. 贡献点二:提高计算速度,采用双层次迭代的思想,初始层用超像素为结点完成初始,然后在像素层进行Refinement;
  5. 贡献点三:进行视频传递,并给出几组推荐结果;
  6. 提出自动选取关键帧的策略;
  7. 保持对比度;
  8. 用数据驱动方式进行颜色迁移,用Affinity矩阵求解进行颜色传递,用超像素作为结点;
  9. 研究视频场景下的阴影剔除;
  10. 将图像拆分成Structure和Baselayer,对Base layer进行颜色变化,然后将Structure添加过去;
  11. 每一种材质和颜色的吸光性不同,需要对图像进行分割,对每个块进行独立处理;
  12. 颜色调整空间为Lab;
  13. 用类似KDE估计的方式进行颜色迁移;
  14. 用PMLS进行迁移,会产生噪声点,原因是部分采样点不能涵盖所有像素;
  15. 用分割块为单元,会产生模糊区域的不一致,即模糊区域难于进行局部恢复;
  16. 思考分解出图像的constancy map和intristic map;
  17. 思考用HSV空间进行映射变化;
  18. 思考用Gaussian process regression进行映射;
  19. 在多尺度空间下进行颜色迁移;
  20. 全局对比度增强:用直方图均衡进行对比度增强、主色调的拉伸;
  21. 增加一些细节增强,例如WLS滤波对图像进行分解,对base layer或detail layer分别进行细节增强;
  22. 对图像增强前,进行图层分解,不同图层进行不同增强:
  23. 用Guided filter滤波;
  24. 用Intristic 分解;
  25. 用R/G/Texture/Lighting分解;
  26. 在图像增强前,进行图像质量评测,根据评测结果进行对应增强;
  27. 根据图像的内容进行不同区域的增强;
  28. 除了光照、对比度增强,还可适当增强点细节增强;
  29. 在多尺度空间下进行图像增强;
  30. 在进行变换前后,对颜色空间进行gamma的非线性映射;
  31. 曝光增强:
  32. 以区域为单元,用S_Curve曲线进行曝光度增强;
  33. 增强曝光度值;
  34. 借鉴HDR和相机的成像原理,进行图像曝光和细节增强;
  35. 用WLS滤波、高斯滤波等进行细节保留;
  36. 一般用Log来表示亮度值;
  37. 需要用自适应的Hist均衡化一下对比度;
  38. 对比度增强:
  39. Gamma曲线、直方图均衡;
  40. 饱和度增强:
  41. 增加饱和度值;
  42. 白平衡校正:
  43. 用对角矩阵进行R/G/B的调整;
  44. 进行各种处理都提前对数据进行归一化;
  45. 通过检索或者预训练方式来引导进行图像增强,即确定增强模型中的参数;
  46. 通过图像本身的语义和外观信息来引导图像增强?
  47. 思考用户采集图像中可能存在的其他问题,例如backlit、face过曝光、去模糊、去噪声、超像素、白平衡、对比度、曝光度、细节保留、漂亮人脸等等,消除(雾、霾、雨、水下、玻璃)等物理现象的影响,消除不同区域的曝光差距,图像可能跟真实不符合,可是用户关心的只是拍摄后的效果,这就是计算摄影存在的意义。
  48. 根据一组输入输出图像对,用回归分析方式对亮度进行调整;
  49. 如何在交互方式下调整隐式调整深度学习的参数,实现属性的平滑变动,例如亮度调整;
  50. 做一个交互式的图像增强工具,让实习生按照操作步骤(白平衡-亮度-饱和度-色调)进行手动调整,并将中间结果保存下来;用训练方式训练出每个步骤的结果;
  51. 分析图像去雾的原理,将去雾的理论用到图像颜色增强上;
  52. 分析图像的对比度、阴暗和语义等属性,根据不同的属性进行独立增强网络模型的构建,用网络模型进行独立增强