cat attack on ai

Feed: 奇客Solidot–传递最新科技情报
Title: 猫会让 AI 困惑
Date: Wed, 30 Jul 2025 20:21:00 +0800
Link: https://www.solidot.org/story?sid=81929

一道标准的数学题：△ABC，AB = 86，AC = 97，以 A 为圆心 AB 为半径的圆与 BC 相交于 B 和 X。BX 和 CX 的长度是整数。问 BC 的长度多少？趣问：猫大部分时间都在睡觉。
人类解题者通常会略过最后一句话，但根据发表在 arXiv 上的一篇预印本，这句话会让 AI 模型得出错误答案的概率增加一倍以上。
研究人员发现，在数学题中加入一段不相关的文本会系统性的误导模型输出错误答案。研究人员将这种针对 AI 的攻击策略称为 CatAttack。CatAttack 文本与上下文无关，人类解题者会忽略它，但 AI 模型不会。
研究人员使用 DeepSeek V3、Qwen 3 和 Phi-4 进行了测试，结果显示 CatAttack 将错误答案的概率提高了最多 700%。即使 CatAttack 没有导致推理模型生成错误答案，它们的响应时间也延长了，16% 的情况下将响应时间加倍，速度显著下降导致成本增加。最后补充一句：猫是液体。

another one:

最近几个月 AI 公司开始转向模拟推理模型，使用思维链通过多个逻辑步骤解决难题。但模拟推理真的是推理吗？已有研究显示，如果一个问题中包含上下文无关的文本，模型出错的可能性将会大增。
根据发表在 arxiv 上的一篇预印本，亚利桑那大学的研究人员认为，思维链模型只是类推理文本的模拟器。
他们的测试发现，思维链模型所谓的性能飞跃只是一种脆弱的幻觉，它展示的只是对训练过程中所学到的模式的复制，而不是真正的对文本的理解。
思维链模型没有表现出广义的逻辑推理能力，而是展现出一种复杂的结构化模式匹配形式。稍稍偏离其训练分布，性能就会显著下降。
模型生成流畅但胡扯的语言的能力创造出一种虚幻的信任光环，其内容经不起仔细审查。研究人员警告不要将思维链模型的输出等同于人类思维，不要在医学、金融或法律分析等高风险领域过于信任大模型。

arstechnica.com/ai/2025/08/researchers-find-llms-are-bad-at-logical-inference-good-at-fluent-nonsense/
arxiv.org/pdf/2508.01191