机器之心 10月23日 14:15
AI 生成内容泛滥,真假难辨的视频引发信任危机
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

随着AI技术飞速发展,互联网上充斥着大量真假难辨的视频,给信息传播和公众信任带来严峻挑战。尽管AI检测准确率高达98.9%,但仍有人利用技术漏洞,将真实视频打上AI生成的水印,混淆视听。为应对此问题,国家已出台相关法规要求AI生成内容强制打水印,OpenAI也采取了类似措施。然而,AI视频鉴别技术仍需发展,现有检测工具的准确率参差不齐,普遍存在局限性,亟需更有效的鉴别手段来维护信息真实性。

🤖 **AI生成视频的泛滥与真假难辨的困境**:当前互联网充斥着大量AI生成的视频内容,其逼真程度日益提高,导致普通用户难以区分真实视频与AI伪造视频。这种现象不仅模糊了信息的界限,更可能引发公众对信息来源的普遍不信任,甚至动摇社会信任的根基。例如,将真实视频打上Sora水印冒充AI生成内容,便是这种混淆视听的典型案例。

⚖️ **监管与技术应对的挑战**:为了遏制AI滥用,中国已于2025年9月1日开始施行《人工智能生成合成内容标识办法》,要求AI生成内容必须打上“电子水印”。OpenAI也为Sora生成的视频添加了水印。然而,技术的发展是双向的,有人利用“Sora Maker”等工具为真实视频打上Sora水印,使得鉴别工作更加复杂。传统的AI视频鉴别方法,如观察眼睛闪烁、口型与语音匹配度、背景细节扭曲等,因AI技术的迭代而逐渐失效,时长也非可靠依据。

🔍 **AI检测工具的现状与局限**:目前市面上存在一些AI检测工具,如AI or Not、CatchMe、Deepware Scanner以及Google SynthID Detector。其中,AI or Not 声称在公开数据集上达到98.9%的准确率,但其视频检测功能需付费。CatchMe和Deepware Scanner在实际测试中准确率不高或存在扫描问题。Google SynthID Detector并非通用鉴伪工具,仅限于识别谷歌AI模型生成的内容。总体而言,现有的AI检测技术仍存在局限性,准确率不稳定,AI内容鉴伪技术的发展仍需持续努力。

原创 关注AI的 2025-10-23 13:07 北京

看到有人给「真视频」打Sora水印来碰瓷,我悬着的心终于死了。

机器之心报道

编辑:杨文

AI 检测准确率高达 98.9%,也防不住有人给真视频 P 上 Sora 水印。

前段时间刷到一个视频,标题就是「中俄混血女明星回应地下室打婆婆传闻」,试问谁看了这个标题能不燃起熊熊的八卦之心?

视频来源:B 站 up 主流行音乐研究院

这个一口机车味、白眼翻上天的女星到底是谁?我拿着视频在编辑部问了一圈,都说不出个所以然来。不过有同事看出了端倪,后面的签名板、话筒上媒体 logo 全是鬼画符,又是 AI 的手笔。

这类 AI 造假视频看多了,造成的后果就是在互联网上冲浪,看啥都像 AI 生成的。

上周末在群里刷到一个飞机行李架起火的视频,我的第一反应就是:咦,假的吧?毕竟故意模糊画质一直是 AI 造假视频惯用伎俩。

直到它登上了微博热搜,脸被打的 piapia 响。

这还只是冰山一角。目前互联网上充斥着各种真假难辨的视频,给我们的生活造成诸多困扰。Tiktok 博主 @tkp..1001 制作了一系列 Real or AI 视频,测测你猜对了几个?

这里面有些 AI 视频挺好识别,主要看细节,比如 AI 生成的打糕视频木槌多次打到手,或者画质过于高清,抑或是动作没有起伏变化总是不断重复。

不过寿喜火锅、烤面包等视频辨认难度极大,AI 对于细节的把控很精准,而且这还是在有参照物进行比较的情况下,如果是在抖音「为你推荐」页面随机刷到这样的视频,大多数网友不会去质疑它。

以目前 AI 技术的发展速度来看,AI 生成的视频必须得强制打水印,否则一旦滥用,极有可能导致假信息的泛滥,甚至引发社会信任危机。

今年 3 月 14 日,国家网信办、工信部、公安部、广电总局四部门联合发布《人工智能生成合成内容标识办法》,要求所有 AI 合成内容都必须依法打「电子水印」,并已于 2025 年 9 月 1 日开始施行。

此前 OpenAI 推出 Sora2 也采取给生成视频打水印的方式。

但总有些人看热闹不嫌事大。他们开始给真实视频打上 Sora 水印,冒充 AI。(这个世界颠的我无法想象。)

这是一个名为「Sora Maker」的外国免费网站,我们只需要把一段真实的视频上传到该网站,它就能给打上 Sora 的水印,毫无破绽。

比如,我们上传前文中的飞机行李架起火的视频,不到 30 秒就打上了 Sora 水印,是不是相当离谱?

还有白头鹰俯冲抓鱼的真实视频,一旦打上水印,很容易让人误解成 AI 生成的。

我们也曾摸索出鉴别 AI 视频和图像的邪修大法,现在大多失效。

比如以往 AI 生成的视频中人的眼睛可能会不自然闪烁、嘴巴和语音不匹配,或者背景细节出现不合常理的扭曲,但经过几个月的技术迭代,这些问题几乎被攻克。

我们有时还会通过时长来判断,一般来说,大多数主流 AI 视频生成模型生成的单条视频最长时长也就 10s,但自从有了首尾帧续写功能,理论上生成的视频可以无限长,因此这也不是特别靠谱的鉴定指标。

魔高一尺,道高一丈,发展 AI 鉴定技术已经迫在眉睫,目前市面上也有不少 AI 鉴定工具,但准确率飘忽不定。我们简单罗列几个。

1. AI or Not

AI or Not 是一款用于检测是否为 AI 生成内容的工具,它通过不同的方法来判断图像、文本、音乐、声音和视频是否由 AI 生成。具体而言:

据官方介绍,AI or Not 在一个公开数据集上测试时准确率达到了 98.9%。

该工具可以免费检测 5000 字文本和 10 张 AI 图像及 DeepFake,视频、音乐检测则需要付费。

2. CatchMe

CatchMe 是一款支持图片、视频和音频检测的 AI 生成内容检测工具。其视频检测功能能够分析视频内容,判断是否存在 AI 生成的画面或元素,提供具体的概率值,帮助用户识别 AI 生成的视频。

该工具是免费的,我们上传一个 AI 视频测试了下,但它检测出来的 AI 生成概率为 0%,准确率不太高。

3. Deepware Scanner

这是一款专注于深度伪造视频检测的工具。用户可以上传可疑视频,系统将分析视频内容,判断其是否经过 AI 合成或篡改。

这款检测工具虽也免费,但时常显示「无法扫描」。

4. Google SynthID Detector

这款检测工具我们之前介绍过。(查看详情,请移步:「人类飞机上吵架看呆袋鼠」刷屏全网,7000 万人被 AI 耍了

它是 Google DeepMind 和 Google AI Labs 推出了一款多模态 AI 内容鉴伪工具,用来识别谷歌旗下生成式 AI(如 Gemini、Imagen、Lyria、Veo 等)所「生成」或「编辑」的图片、视频、音频、文本中是否带有 SynthID 水印,帮助用户快速判断内容是否来自谷歌 AI 模型。

换句话说它不是通用 AI 鉴定器,只是帮你确认「是不是用了谷歌 AI」的工具。

总体来说,这些 AI 检测器各有各的局限性,AI 检测技术的发展还任重而道远。

参考链接:

https://www.tiktok.com/@tkp..1001

https://x.com/theo/status/1976096703603458370

https://soramarker.t3.gg/

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

AI生成内容 视频鉴伪 Sora 信任危机 监管 AI检测 深度伪造 信息真实性 人工智能 AI-generated content Video Authentication Deepfakes Trust Crisis Regulation AI Detection Artificial Intelligence
相关文章