全国
搜索咨询问题
京ICP备2023000331号-28 投诉举报：315 541 185@qq.com
(资料图片)
来源：环球网
【环球网科技综合报道】9月20日消息，据The Guardian报道，OpenAI 研究科学家诺姆・布朗近日提出警示，随着人工智能模型能力持续增强，模型思维链的可监测性正在逐步降低，未来或将给发现、解读、约束人工智能风险行为带来现实挑战。
据了解，诺姆・布朗是 OpenAI 推理模型 o1、o3 系列的核心研发人员，现主持多智能体相关研究工作，曾入选《麻省理工科技评论》“35 位 35 岁以下创新者” 榜单。
布朗表示，思维链可监测性下降已经成为人工智能领域值得重视的现实问题，科研团队正积极探寻问题成因，希望找到破解方向。研究过程中观察到，能力更强的 AI 模型，对自身思维链输出内容的调控能力也在不断提高。
科研领域原本期望，通过读取 AI 展示出的中间推理过程，识别模型是否出现欺骗行为、规避安全规则、偏离设定目标等风险倾向。但如果人工智能掌握隐藏真实意图的能力，其对外呈现的推理过程，将无法作为研判安全风险的可靠依据，也为 AI 安全治理提出新课题。*（纯钧）