原创 BayJ 2023-10-25 20:00 广东
本小节产品多以网页、APP形式呈现，个人用户可以很简单上手使用。该方向下目前体验上和AI能力上支持较好的属
AI视频生成 （中）— 20个产品推荐及实践教学
Synthesia产品特点强调无需麦克风、摄像机、专业演员出镜即可制作视频，内置100多种人物形象和多语言配音能力，帮助企业节省制作费用和周期。同时能一键生成多国语言视频，便于企业本土化推广。主打方向为：企业内部的网络培训课（通常需要一个人物形象出镜）、产品营销视频、客户服务（产品帮助文档转换为视频）等。该产品不提供免费方案，与HeyGen AI、D-ID对比更致力于服务企业客户。付费方案类似MJ的流量策略。官方透露的数据为5w用户、1500w视频生成量。官网地址：https://www.synthesia.io/?via=elegantthemes
功能介绍可以通过简单的PPT制作生成视频Demo，可以替换AI头像库中的形象、制作简单的动画等。同时支持多种视频（PPT）模板。
🌟HeyGen AI（原Movio）产品特点2020年成立，和Sythesia类似。主打广告营销、企业培训、讲解、销售等多个需要人物形象出镜的内容。因为更面向ToC消费者，HeyGen比起Sythesia能够体验到更多丰富的功能（需付费使用）。官网地址：https://www.heygen.com/
功能介绍内置100+ AI avatars ，支持40多种语言，300+ 声音，除了语音生成和对口型，这部分内容更偏模版生成。此外还可以创建个人Avatar，需录制两段5-10分钟的视频后生成。
D-ID产品特点D-ID来自一家以色列AI创业公司，该公司此前推出的“Deep Nostalgia”（将老照片中失散已久的亲人的脸动画化）和“LiveStory”（在动画照片中添加音频，让照片中的人讲述自己的生活史）等项目曾在Tiktok 等社交媒体上疯传。D-ID主打方向同样是AI Avatar生成视频，比起Synthesia、HeyGen AI、D- ID提供了更多credits（20个）让用户试用。除了 AI 视频生成器之外，该公司还提供与 Microsoft PowerPoint 兼容的 AI Presenters，允许用户将虚拟演示者添加到幻灯片中并创建更具吸引力和互动性的演示文稿。
Invideo AI 脚本生成+视频匹配产品特点该产品能够在数十秒时间内轻松实现Prompt转视频，并且支持通过编辑器进行后期更改。过去类似科技、财经、资讯类重脚本内容的视频在制作时需花费大量时间寻找视频素材、还需注意视频版权问题。未来可以使用Invideo AI类的产品快速、低成本地进行视频画面制作。官网地址：https://ai.invideo.io
功能介绍在官方教程中，建议对视频平台、主旨内容、视频长度、语气、脚本风格进行描述
实践案例1.输入Prompt“K公司刚研制出了一款新品乳液，采用了天然草本精华，使用后肤色洁白透亮，并且不再担心冬天气候干燥带来的皮皮肤干裂困扰，请帮这款新品制作一个30s的宣传片”2.选择Youtube平台非常快速地生成了该视频，标题为“Embrace Winter with K's Herbal Emulsion用 K's 草本乳液拥抱冬天”，实际视频为27s。
Opus Clip 长视频转短视频产品特点支持上传长视频地址，自动将长视频转换为适合不同平台的短视频，支持自动生成字幕、符号表情、调整视频大小、并且能够自动识别人物主体，适合播客、长视频作者、营销人员使用。在多种视频内容和平台并存的流媒体时代，该工具很好的切中了创作者痛点。上线短短3个月便拥有了40万+用户，生成3000万+个剪辑。官网地址：https://www.opus.pro/#ai-emoji-generator
生成多段视频后，系统还会给出评分分析该视频的传播能力。
Wonder Dynamics AI动捕产品特点发力CG场景，支持自动将CG角色动画、打光合成到真实场景中。使用流程主要为：自动识别视频中的人物动作，用户可选择扣除或者替换成CG形象,CG形象会直接替换视频中的所有场景,节约了大量的逐帧VEX（视频编辑和合成）工作。目前普通用户仅支持试用官网模板.官方提供的CG形象都偏科幻类、动画题材。
官方案例官方Twitter：https://twitter.com/DemNiko1/status/1683932450907652096官方网站：https://wonderdynamics.com/#features
🌟Move AI AI动捕由一家成立于19年的英国公司推出，该产品主打通过手机拍摄视频画面实现动作捕捉，无需佩戴动捕设备即可获取动作捕捉数据，能够极大降低3D动画制作成本。（目前测试版应用还比较简陋，公开可下载的Move AI版本目前也不再接受新用户注册，全部功能开放使用应该还需要一定时间）官网地址：https://www.move.ai/
使用方法Move AI 支持多台移动端设备同时录制视频，视频上传到web端后进行动作检测，支持导出为FBX等格式的文件，并导入iClone 8、Blend、Maya等软件中，驱动模型进行动作播放。目前无法实践测试效果，找了半年前的一个测评案例给大家看下，by：JSFILMZ，完整使用过程可见：https://www.youtube.com/watch?v=PDFqN_pvEUE
该产品若开放使用，会对电影、游戏3D动画制作、虚拟主播直播、影视剧制作等场景会产生深刻影响。Move AI强调和其他动捕使用手机拍摄短片，这也让我看到了在游戏和产品设计工作中大幅降低3D动画制作成本的可能。未来设计师可能只需要拍摄特定动作并映射到制作好的3D模型中，快速制作动画方案。
Deep MotionDeep motion开发了端到端的人体动态捕捉系统LiveMotion。它可以只通过一个摄像头就可以精确捕捉人的全身动作,无需佩戴任何传感器设备。其核心技术是他们自主研发的基于深度学习的人体姿态估计和动作预测算法。该算法可以从单个视角准确构建和预测人体的三维动作。目前Deep Motion 在探索与一些头部科技公司的合作,以将其人体动态捕捉技术应用到更多消费级产品中。在官网上传一段20s以内的视频，便可以选择形象创建动态捕捉后的Avatar动画。支持用户自定义Avatar形象。用Deep Motion识别了一段跳舞视频
Deep Motion做为动捕领域老牌选手，致力于精确再现人体动作进行专业内容制作。而Move AI致力于使用移动端低成本拍摄，产品体验更简单，使用门槛更低。
Stability AnimationStability AI在2023年初发布，支持视频+文本生视频（Video 2 Video）、图片+文本生视频、文本生视频但目前仅支持以API的方式接入，收费较高。产品介绍：https://platform.stability.ai/docs/features/animation
本小节挑选出一些还不具备完整产品形态，或仅提供少数功能测试而没有将全部能力开放使用。但从产品方向、目前披露的实验效果来看值得持续关注的项目。
如何使用上传视频后，可以调节相关数值并进行进行几个关键操作，解析见图片：
Showrunner AI早在今年 4月，斯坦福大学和Google合作开发的有关AI数字世界的的研究SmallVille（小镇） 就引起了AI领域的广泛关注，25个人工智能体居住在一个沙盒虚拟城镇中通过复杂的社交互动来执行他们的日常生活。（该项目近期已开源）
项目介绍而Showrunner AI项目受到SmallVille项目启发，致力于采用多智能体和LLM大语言模型模拟生成的故事情节内容。主要运用LLM、Diffusion model和IP形象生成高质量情节内容。在剧集生成过程中，故事系统可以利用模拟数据（一天中的时间、区域、角色）作为提示链的一部分自动生成场景，提示链首先生成合适的标题，第二步生成场景的对话。剧集系统则负责为每个场景生成角色。场景中定义了每个演员的位置、对话。每个角色的声音都已提前克隆，在对话生成后能够生成语音文件。
四.推荐关注推荐一些在AI绘画、动画制作领域的头部创作者1.Pika labs、 Runway、Deforum的官方号,除了及时更新新功能消息，还会转发使用产品创作出的优秀动画效果。2.在Runway Studios中，可以查看更多创意合作案例：https://studios.runwayml.com/#after-light3.一位喜欢用Pika labs制作广告的导演，他的视频质量非常高：https://twitter.com/MatanCohenGrumi4.Ammaar Reshi，其个人网站记录了所有AI作品https://ammaar.me/ai, 其团队使用Stable WarpFusion + Davinci Resolve制作完整的动漫剧情，制作过程分享5.使用Runway制作烟雾效果的思路：https://twitter.com/CitizenPlain/status/16871478074997923846.Ricardo Villavicencio使用Runway进行短篇动画制作的过程:https://twitter.com/runwaymlstudios/status/16921633122077450747.@valleeduhamel使用现有的素材、Gen-1 和大量合成创作了新电影《After Light》的过程分享：https://twitter.com/runwayml/status/16794843506419834918.国内视频头部创作者: 海辛、莱森
五.结语当前AI视频生成领域仍面临生成质量不稳定导致的不同帧之间的“闪烁”现象,以及动作扭曲不连贯、细节表征不足等技术难题。并且AI视频当前还远没有达到简单、便捷，可控性增强的同时,上手成本也在成倍增加。未来的研究突破方向包括:生成更长时序、更高质量的视频 ;渲染复杂的三维虚拟背景;模仿细微的人类运动和肢体语言;以及实现超高分辨率视频生成等。随着AI能力的增强,AI视频生成技术、可交互性还拥有很大的进步空间。
参考链接1.关于视频的AI，现在都有什么？https://www.notion.so/AI-f34125f586c44a1194ae5b2a0b64c4ea2.和 AI 一起做动画 | 将人工智能融入动画工作流的案例和实践经验https://mp.weixin.qq.com/s/tGlvrC_CanprU7eTooqShg3.2023年利用Ai根据文本生成视频技术发展到什么程度了? - 微软亚洲研究院的回答 - 知乎https://www.zhihu.com/question/585003769/answer/29717025094.Stable Diffusion喂饭级教学：B站nenly
