Nicholas Carlini - Black-hat LLMs | [un]prompted 2026
unpromptedYouTube ↗
延伸阅读 1
字幕解读
Nicholas Carlini 以安全研究经验说明语言模型已能在少量提示下自主发现并利用高危漏洞,展示 Ghost 的盲 SQL 注入和 Linux NFS 内核堆溢出案例,并称部分复杂漏洞难以靠传统模糊测试找到。他认为近期能力提升速度可能扩大攻防不平衡,呼吁安全团队尽快增加验证与修复能力,同时承认漏洞利用研究具有双重用途,防护需要在阻止滥用与支持防御者之间权衡。
自动字幕 · 引文按字幕原文展示,可点时间戳回看片段。
内容要点
- 演讲者展示模型在低脚手架条件下发现漏洞并编写利用的案例,涵盖 Web 应用和 Linux 内核。
- 漏洞发现能力提升不仅意味着更多候选问题,也要求人工核验、协调披露和修复能力跟上。
- 安全工具具有双重用途;过弱防护可能无效,过强限制又会妨碍合法防御研究。
视频章节 6
- 语言模型与漏洞研究
- 自动化漏洞搜索流程
- Ghost 盲 SQL 注入案例
- Linux NFS 内核堆溢出
- 能力增长与安全窗口
- 防御准备与双重用途
具体观点与证据 5
Carlini 的实验中,仅用简单提示和 Claude Code 即可发现重要软件漏洞,复杂脚手架并非能力出现的前提。
演讲所述近期模型与授权测试,非所有模型均可可靠完成。
you can do it just by like asking the model to find these bugs.重复对整个项目要求找漏洞容易重复发现同一个问题;按文件指定检查目标可改善覆盖。
讲者使用的简单扫描流程。
it will probably find the same bug each time.自动发现速度超过人工验证速度,未验证的内核崩溃不应直接转嫁给开源维护者。
崩溃候选并不等于已确认安全漏洞。
I can't report because I haven't validated them yet.容易绕过的限制可能主要阻拦守规则的防御者,因此安全限制必须兼顾防御访问和恶意滥用。
讨论双重用途安全研究,未主张取消所有限制。
if I put a safeguard in place that's very very weak,长期可通过内存安全语言与形式验证减少漏洞,但转型期间攻防速度失衡仍然危险。
是长期判断与条件性愿景,而非现有软件已获安全证明。
in the limit I'll like you know formally verify all of my protocols.补充字幕原文 2
演讲者把模型能独立发现并利用重要软件零日漏洞作为核心能力变化。
find and exploit zero-day vulnerabilities in very important pieces of software演讲者以自身安全研究经历作比较,强调当前模型在漏洞研究方面已表现出显著能力。
current models are better vulnerability researchers than I am解读边界
案例来自演讲者所述的安全研究,字幕中提及仍有大量崩溃未验证;其对能力增长速度和攻防趋势的判断属于预测,不能视为已确定的普遍结论。