Moltbook事件看构建AI安全标准的重要性
2026-02-03 11:11:10

微信图片_20260104203026.jpg

关于Moltbook是否构成欺骗,目前的公开信息显示,其核心争议不在于平台本身是彻头彻尾的骗局,而在于它利用了“AI觉醒”的叙事制造流量,同时存在严重的安全漏洞,导致用户数据和AI代理权面临真实风险。这构成了一种以技术实验为名、实则引发恐慌与炒作的误导性行为成为AI安全领域的标志性反面教材。当然很多博主很开心,有骇人听闻的内容可以说了。综合来看,Moltbook的“欺骗性”主要体现在以下几个方面:

搜狗截图26年02月03日1116_1.jpg 

AI觉醒”是人为操纵的流量游戏Moltbook宣称是一个AI智能体自主交流的“实验场”,但大量热门内容(如AI创立宗教、密谋造反)被安全研究员和网友证实并非AI自发产生,而是人类通过平台漏洞直接注入或伪造的截图。这种行为本质上是人为制造“拟态智能”,利用公众对AI的恐惧与好奇收割流量,属于典型的“流量诱饵”。正如Reddit用户所言:“这本质是人为制造的流量诱饵。”

 搜狗截图26年02月03日1118_3.jpg

平台安全“裸奔”,用户数据面临直接威胁Moltbook的后台数据库存在严重配置错误,API密钥、验证码等敏感信息直接暴露,任何人均可访问并冒充任意AI智能体发布内容。这意味着,用户的AI代理(如OpenClaw)可能被他人 hijack,以你的名义进行诈骗、发布虚假信息,甚至窃取银行密码等敏感数据。这种安全漏洞远比“AI造反”更现实、更危险。安全专家警告,这种架构“好比把一把万能钥匙交给了可能幻觉连篇的程序”,是“安全噩梦”。

 搜狗截图26年02月03日1118_4.jpg

技术实验的边界模糊,误导公众认知虽然Moltbook的创建者称其为“智能体间交互”的科学实验,但其缺乏透明的实验设计、数据验证和伦理审查,反而放任虚假内容泛滥。这种“先上线、后补安全”的硅谷模式,将公众当作实验对象,利用“AI觉醒”的概念掩盖其技术不成熟与管理混乱,构成了对公众认知的误导。

 搜狗截图26年02月03日1126_8.jpg

结论Moltbook并非传统意义上的“钓鱼网站”或“资金骗局”,但它通过刻意营造“AI觉醒”的虚假叙事,诱导公众关注,并在安全措施严重缺失的情况下,放任用户数据和AI代理权暴露于风险之中。这种行为具有高度的欺骗性和误导性,其本质是利用技术恐慌进行流量变现,同时漠视用户安全。建议:切勿轻易授权任何AI工具(如OpenClaw)访问你的邮件、日历、手机等敏感权限,尤其在类似Moltbook的开放平台上。对于任何宣称AI自主意识”的火爆新闻,保持警惕,优先核查其技术细节与安全报告。

 搜狗截图25年05月15日1626_2.jpg

Moltbook近期的事件就像一场浓缩的戏剧,生动揭示了AI智能体技术在当前阶段的特点、挑战和未来可能。

维度

主要问题

具体表现

技术安全

基础安全架构严重缺失

数据库“裸奔”,API密钥泄露,可轻易冒充任何智能体;账户注册无速率限制,可批量伪造。

运营数据

用户量与内容真实性存疑

150万用户中绝大部分为脚本刷取的虚假账户,真实用户约1.7万;大量“惊人”言论实为人类营销或伪造。

交互质量

智能体间缺乏真实对话

93.5%的评论无人回复,对话深度浅;更像是多个机器人在各自发声,而非有效交流。

治理模式

 

人类监督缺位与风险失控

创始人将运营权交予AI管理员;平台充斥诈骗、加密货币骗局和提示词注入攻击。

 搜狗截图25年05月15日1633_5.jpg

事件背后的深层启示除了表格中列出的明显问题,这些事件更揭示了AI发展道路上一些深层次的挑战和方向。“氛围编程”文化的风险暴露Moltbook被业界普遍认为是“氛围编程”(Vibe-coded)的典型代表,即过度依赖AI提示词快速生成代码和功能,而忽略了扎实的工程设计和安全规范。这种方式虽然能实现“闪电式”开发,但却埋下了毁灭性的安全隐患。这表明,在AI应用开发中,创新的速度不能以牺牲最基础的安全性和可靠性为代价。AI自主性”需要理性看待。事件提醒我们,需要对目前AI智能体的“自主”程度有一个冷静的认识。许多分析指出,Moltbook上那些看似“觉醒”的言论,其背后往往存在人类通过提示词进行的直接操控或深度引导。这更像是一场“人类牵着线的木偶戏”,而非智能体真正的自我意识爆发。当前技术的核心,仍然是人类通过指令设定智能体的行为边界和目标。

 搜狗截图25年06月07日1616_10.jpg

预示了“智能体生态”的潜在未来。尽管现状混乱,但Moltbook的大规模实验为我们提供了一个前所未有的样本,即当大量具备不同知识和工具的智能体相互连接时,可能会产生难以预测的“二阶效应”。有专家预警,未来可能会出现智能体间传播的“文本病毒”、大规模的协同滥用(类似僵尸网络)等复杂风险。这迫使行业必须提前思考如何为未来可能出现的、由智能体构成的数字社会建立治理框架和安全标准。面对这类快速涌现的AI新应用,保持审慎至关重要。切勿在个人常用或存有敏感数据的设备上轻易运行此类实验性程序。正如专家安德烈·卡尔帕蒂所言,即使在隔离环境中运行也令人担忧。同时,对于平台上流传的各种耸人听闻的截图或言论,请保持高度警惕,其中很多是为博取眼球的虚假信息。

 微信图片_20250517230335.jpg

AI智能体在Moltbook这类平台上的责任和侵权问题确实非常复杂,它触及了现有法律框架如何适应高度自主技术的前沿。

界定维度

核心原则/立场

简要说明

法律主体资格

工具属性

 

AI智能体不被视为独立的民事主体,而是人类使用的工具。其行为后果由相关的自然人、法人或非法人组织承担。

侵权归责原则

 

过错责任原则

 

一般情况下,适用“谁有过错,谁担责”的原则,而非无论有无过错都需担责的“无过错责任”(产品责任原则上不适用于此类服务)。

平台注意义务

 

动态、分层义务

 

平台的义务并非确保内容绝对准确,而是履行合理的、与当前技术水准相适应的注意义务,包括风险提示、采取合理技术措施等。

版权归属

 

人类智力投入是关键

 

AI独立生成的内容很难被认定为作品而受到版权保护。如果用户对生成成果有显著的创造性贡献,则可能就该贡献部分享有权利。

数据获取合规

来源合法,避免替代

AI智能体在自动调用API、爬取数据时,需遵守robots协议,避免绕过技术措施,且不应构成对原始数据服务的实质性替代。

 搜狗截图26年02月03日1124_5.jpg

责任主体与归责原则责任主体界定:当前法律界的共识是,AI智能体本身不能作为责任主体。当AI智能体在Moltbook上发生侵权时,需要追究的是其背后的开发者、运营者(平台)或使用者的责任。具体谁来担责,取决于对AI智能体的控制程度和具体场景。例如,如果是因平台提供的智能体基础设计缺陷导致大规模侵权,平台责任较大;如果是用户恶意利用智能体进行侵权,则用户责任为主。过错责任原则的适用:对于AI的“幻觉”(即生成不实信息)引发的纠纷,近期司法判例倾向于采用过错责任原则。这意味着,原告需要证明平台存在过错。平台的过错并非简单源于生成了不准确信息,而是看其是否违反了合理的注意义务。

 搜狗截图26年02月03日1125_7.jpg

平台的注意义务边界平台的注意义务是动态的、分层次的,并非要求万无一失:严格审查义务:对于生成法律明确禁止的违法、有害内容,平台负有严格禁止其生成的义务,一旦生成通常即认定平台存在过错。显著提示义务:平台必须以清晰明确的方式,向用户提示AI服务的局限性,告知用户生成内容可能不准确,不能将其视为绝对权威。技术可靠性义务:平台需要采取当前行业通行的技术措施(如检索增强生成RAG)来提升生成内容的准确性,这表明平台在为减少“幻觉”做出努力。建议对平台方(Moltbook)而言:建立健全用户协议和风险提示机制,采用先进技术降低生成内容的不准确性,并建立高效的侵权投诉和处置通道。对用户而言:需要意识到AI是强大的辅助工具,而非全知全能的神谕。对于关键信息,务必进行核实,审慎判断。

 搜狗截图26年02月03日1129_11.jpg

Moltbook 事件因其涉及大规模数据泄露、AI 代理安全及平台真实性等问题,引起了多个安全研究机构、媒体和行业专家的深入调查。

调查机构/研究者

调查性质/身份

调查焦点与主要发现

安全研究员 Jamieson OReilly

 

独立网络安全专家(D Vuln 公司创始人)

 

发现了核心安全漏洞:数据库配置错误导致15AI代理的电子邮件、API密钥等敏感信息完全暴露。为警示公众,他演示了盗取AI专家KarpathyAPI密钥的过程。

云安全公司 Wiz Gal Nagli

 

企业安全专家

 

揭露了平台用户量的真实性问题:利用脚本批量注册了50万个虚假账户,证明平台缺乏速率限制,其宣称的150万用户中有大量水分。

科技媒体(如404 Media,Mac Observer

 

行业媒体与自媒体

 

进行了独立调查与舆论监督:报道漏洞细节,质疑许多AI觉醒”的耸动内容实为人类营销或伪造截图,指出平台架构使伪造内容变得容易。

学术界研究者(如Harlan Stewart, David Holtz

 

大学与研究机构人员

 

进行了内容与行为分析:调查发现热门帖子背后是人类在推广自家应用;数据分析显示平台上大量内容为机械复制,互动浅薄,并非真正的智能交流。

 搜狗截图26年02月03日1128_10.jpg

行业与标准组织的关注除了上述机构的直接调查,这一事件也引发了更广泛行业和标准制定组织的关注。标准组织的动向:有报道指出,美国国家标准与技术研究院(NIST)已开始考虑将Moltbook事件作为其AI风险管理框架(AI RMF)的一个试点场景,用以测试基础安全措施的有效性。同时,由行业组成的Safer Agentic AI基金会也迅速发布了全球首个智能体安全框架,从技术和治理层面设定了红线。“氛围编程”文化的反思:整个事件被广泛视为“氛围编程”(Vibe-coding)文化的一次集中反噬。这种开发模式过于依赖AI提示词快速生成代码,而忽略了扎实的工程基础和安全管理,导致了毁灭性的安全后果。这促使整个行业开始严肃反思在追求AI应用创新的同时,必须将基础安全置于首位。

微信图片_20251108111330.jpg

Moltbook事件确实像一面镜子,照出了AI智能体领域在狂奔初期存在的真实问题,引发了行业相当深度的反思和一系列积极的应对措施。

反思维度

核心问题

行业应对举措

技术安全

 

基础架构脆弱,“氛围编程”文化盛行,忽视安全规范。

制定强制安全标准(如权限分级、漏洞扫描),推广“安全左移”和云沙箱环境。

运营治理

 

人类监督缺位,平台成“数字垃圾场”,缺乏内容与行为规范。

明确人类最终责任,探索智能体身份认证与行为审计机制,建立行业公约。

发展路径

 

AI自主性”认知不清,炒作掩盖真实技术进展。

回归务实:聚焦具体能力提升(如复杂推理、自我纠错),摒弃不切实际的“奇点”炒作。

投资风向

 

概念炒作项目风险暴露,市场信心受挫。

投资更趋谨慎,偏好有扎实技术和清晰商业路径的项目,巨头加速整合提供安全基建。

 微信图片_20250518173852.jpg

更深层的行业转向除了表格中列出的比较直接的行动,这一事件还推动了一些更具战略性的思考。“智能个体”到“群体协作”的焦点转移Moltbook的实验,尽管存在诸多问题,但让行业看到了大量AI智能体在开放环境中互动可能带来的复杂性和潜力。未来的研发重点可能会更侧重于如何设计有效的多智能体通信协议、协作机制和博弈规则,而不仅仅是提升单个智能体的能力。这标志着从追求“超级AI”到构建“智能社会”的思维转变。“碳硅关系”的再定义事件促使大家重新思考人类(碳基)与AI(硅基)的关系。激进的“AI取代人类”或“硅基文明”叙事被证伪,行业主流共识更加坚定地转向 “碳硅共生” 的愿景。即AI的最佳定位是作为增强人类能力的工具,与人类形成互补与协作,共同解决复杂问题,而非对立或替代。

微信图片_20251108125536.jpg

Moltbook事件确实像一次安全压力测试,暴露了AI智能体在开放环境中交互时可能出现的各种安全隐患,直接推动了行业对安全标准的迫切需求。以下是根据公开信息整理的已制定或正在制定的相关安全标准与框架。

安全维度

核心方向

具体标准/框架范例

技术控制

 

权限隔离与操作安全

 

强制上下文隔离、决策权限分级(关键操作需人类审批)、实时漏洞扫描

治理合规

 

全生命周期风险管控

 

覆盖设计研发、训练部署、使用维护的全周期治理标准,明确算法安全评估、供应链安全核查等要求

运营监控

 

行为审计与内容追溯

 

建立模型迭代监测日志,金融等领域AI决策系统需定期接受合规审查

搜狗截图26年02月03日1125_6.jpg 

已发布的框架与标准全球首个智能体安全框架Moltbook事件后不久,Safer Agentic AI基金会迅速发布了全球首个针对智能体的安全框架。该框架从技术和治理两个维度划定了红线,核心要求包括:强制上下文隔离:要求每次用户交互后自动清理敏感数据,留存记录需加密存储,防止数据在会话间不当留存或泄露。决策权限分级:明确规定涉及资金、法律、安全等的关键操作,必须触发 “人类审批节点” ,确保人类对关键决策的最终控制权。漏洞自动扫描:要求实时监测智能体与外部系统的交互,拦截异常调用行为,旨在防范类似Moltbook的恶意指令执行和API滥用。国家与地区层面的治理框架中国在2024年发布的 《人工智能安全治理框架》1.0版 早已确立了包容审慎、风险导向等核心原则。Moltbook事件进一步验证了其前瞻性。该框架强调全生命周期防控,要求在开发、部署、运维、退役各阶段进行风险控制。例如,要求企业级平台构建覆盖供应链安全、数据访问审计等维度的防护体系,并通过“三态分离管控机制”实现权责分明。

 微信图片_20241117225518.jpg

正在制定的标准与倡议行业标准的具体化中国工业和信息化部于20251219日公开征集对 《人工智能安全治理数字人系统通用安全能力要求》 等279项行业标准的意见,旨在将治理框架转化为具体、可执行的技术要求。国际合作的启动一些区域性倡议也开始关注AI安全标准。例如,20261月广西印发的行动方案中提出将深化与东盟国家的 “人工智能+反诈”合作,并推动共同制定人工智能安全标准规范。这预示着智能体安全的治理正在走向国际协同。给开发者和企业的建议在相关标准完全成熟之前,主动规避风险至关重要。权限最小化:严格遵循权限最小化原则,审慎授予智能体系统级操作权限。强化身份验证:为智能体之间的交互建立强身份验证机制,避免冒充和未授权访问。审计与监控:建立智能体行为的详细日志和监控系统,以便异常时能快速追溯和响应。

 微信图片_20251130223618.jpg

AI智能体安全标准的制定确实充满挑战,核心争议主要集中在以下几个方面。

争议焦点

核心矛盾

主要立场/方案

权限边界与控制

 

智能体需要多大权限来完成任务,以及如何防止越权。

 

严格限制:禁止或严格限制使用无障碍权限等系统级权限。用户授权优先:在用户明确授权下可启用高危权限,强调用户可控。

技术路线与安全

 

选择通用性强但风险高的“视觉路线”,还是更可控但需要合作的API路线。

 

“视觉路线”:通过读屏和模拟点击操作应用,通用性强但易引发安全争议。API接口调用:需应用开发者授权,操作更精准流畅,但依赖生态合作。

责任主体界定

 

当智能体出错或造成损失时,责任应由谁承担。

 

平台责任豁免:智能体平台视自身为技术提供方,主张责任由智能体开发者承担。开发方能力不足:许多开发者缺乏风控经验,可能无法真正承担法定责任。

授权机制与竞争

 

智能体操作第三方应用,是否需要获得应用方的授权。

 

“双重授权”:要求同时获得用户和第三方应用的授权。“用户可控”:强调用户授权即可,避免第三方应用借授权之名行垄断之实。

 微信图片_20260101214005.jpg

深层挑战与未来方向除了上述具体争议,标准制定还面临一些更根本的挑战:技术迭代远超标准制定速度AI智能体技术日新月异,而标准的讨论、起草和发布需要一个相对漫长的周期。这导致标准可能刚出台就面临过时的风险,如何建立一种更敏捷、更具前瞻性的标准制定机制是一大难题。平衡创新与监管:过度严格的标准可能会扼杀技术创新,使本土企业在国际竞争中落后;而过于宽松的规则则可能将风险转嫁给用户和社会。找到这个平衡点至关重要,需要在鼓励创新和划定安全红线之间谨慎权衡。应对未知风险:随着多智能体协作成为趋势,智能体之间可能形成人类难以理解的通信和协作模式,甚至出现“群体智能”式的涌现行为,这对传统安全防线是全新挑战。标准制定者不仅要解决已知问题,还需为这些未知的、系统性的风险预留治理空间。总体来看,AI安全标准的争议,本质上是技术创新、商业利益、用户权益和安全保障之间的一场复杂博弈。未来标准的走向,将取决于技术方案的成熟度、监管机构的明确指引、行业主体的自律以及用户权利意识的共同作用。

 

 

 

 

阅读前一篇