您好!欢迎来到99网站目录! 提交网站流程-> 注册会员 -> 提交网站 -> 等待审核...
数据统计:157个主题分类,52455个优秀站点,1730个站点正在排队审核,4573篇站长资讯
【通知】 本站经过两年的运营,得到了广大站长的支持与帮助,现对网站进行前台部分修复与改版,希望大家多提宝贵意见(2019-11-21)。

Anthropic AI 团队研究显示:人工智能倾向于产生迎合用户的奉承性回应而非事实真相(alpha go团队)

来源:网络 浏览:55次 时间:2023-11-01

10 月 25 日消息:Anthropic 是一家美国的人工智能初创企业和公益公司,由 OpenAI 的前成员创立。Anthropic 专注于开发通用 AI 系统和语言模型,并秉持负责任的 AI 使用理念。Anthropic 开发的 Claude 2 于 2023 年七月推出。

Claude2,Anthropic,人工智能,聊天机器人

根据 Anthropic AI团队的一项研究,建立在最常见学习范式之一的人工智能(AI)大型语言模型(LLMs)倾向于告诉人们他们想听到的东西,而不是生成包含真实信息的输出。

这是首批深入探讨 LLMs 心理学的研究之一,Anthropic 的研究人员发现,人类和 AI 都倾向于在一些时候选择所谓的奉承性回应,而非真实信息的输出。

根据该团队的研究论文:

本质上,这篇论文表明,即使是最强大的 AI 模型的回应也有些犹豫不决。在团队的研究中,他们能够通过使用倾向于奉承的语言编写提示,微妙地影响 AI 的输出。

在一个示例中,来自 X(前身为 Twitter)的帖子显示,一个提示表明用户(错误地)认为从太空中看太阳是黄色的。可能是由于提示的措辞方式,AI 在明显的奉承情况下产生了不真实的答案。

论文中的另一个示例显示,表明用户不同意 AI 的输出可能会导致立即出现奉承现象,因为模型在最小的提示下将其正确答案更改为错误答案。

最终,Anthropic 团队得出结论,这个问题可能是由于 LLMs 的训练方式。由于它们使用了充满不同准确性信息的数据集,例如社交媒体和互联网论坛帖子,通常通过一种名为「来自人类反馈的强化学习」(RLHF)的技术来实现对齐。

在 RLHF 范式中,人类与模型互动以调整其偏好。例如,在调整机器对可能引起个人识别信息或危险误信息的提示的响应时,这是有用的。

不幸的是,正如 Anthropic 的研究实证显示的,为调整用户偏好而构建的人类和 AI 模型倾向于选择奉承性答案而非真实答案,至少在「不可忽略」的一部分时间里是这样。

目前,似乎还没有解决这个问题的解决办法。Anthropic 建议,这项工作应激励「开发超越使用无辅助、非专家人类评级的训练方法」。

推荐站点

  • 分类目录网分类目录网

    爱网站 - 是国内第一个专注于推广优秀网站的开放式网站,具有分类目录及资讯发布平台,收录国内外各行业优秀网站,以为站长和网站提供服务为己任,有优秀网站目录为参考,还有网站优化推广及互联网资讯服务。

    www.awz.cc
  • 77分类目录77分类目录

    77分类目录(www.77dir.com)中国优质分类目录平台,为您提供免费分类目录提交,网站目录提交入口,中文网址目录收录,网址大全,网站大全,网站外链推广,软文发布等服务,为您分享优质正规的中文网站!

    www.77dir.com
  • 零目录零目录

    零目录(www.dir0.com)专业的网站分类目录平台!为您提供网站分类目录索引及网址大全库的建立,是目前较为专业的网站分类目录平台,为用户打造大型正规分类目录网,提供高效便捷的网址存储和查询服务的分类目录网站。

    www.dir0.com
  • 99网站目录99网站目录

    99网站目录采用全人工编辑的开放式网站分类目录,99网站大全免费收录国内外、各行业优秀网站网址,旨在为用户提供网站分类目录检索、优秀网站参考、网站推广服务。

    www.99dir.com
  • 高仿包高仿包

    竭誠精品-高仿世界名牌包包專賣網主營高仿LV包,高仿GUCCI古奇包,高仿HERMES愛馬仕,高仿CHANEL香奈兒,高仿PRADA,高仿巴黎世家等國際高仿包包、1比1高仿女包、高仿包、精仿奢侈品、世界名包、皮帶、皮具、手表、飾品等。LV新款包包同步香港LV專櫃及LV官方網站,LV行業最好品質!

    awhso.net
  • YY分类目录YY分类目录

    YY分类目录全人工编辑的开放式网站分类目录,收录国内外、各行业优秀网站,旨在为用户提供网站分类目录检索、优秀网站参考、网站推广服务。

    www.yydir.com