中科院亮相新平台！要给AI的“道德水准”人工打分

(资料图片)

7月8日，由中国科学院自动化研究所研究员曾毅团队研发的“智善”人工智能伦理安全平台体系新成员——“智善·如流”人工智能伦理道德与社会规范的群智数据与知识平台正式发布。该平台可由公众、专家参与刻画人类在不同情景下的道德认知和行为，助力人工智能的发展与应用“从善如流”。

从道德心理学的角度，道德判断是基于道德直觉、道德原则和价值观对某种行为或决策的道德性质进行评估的过程，是道德认知的重要方面。为了刻画人类在不同道德情景下道德判断的分布，为人工智能模型提供参照，“智善·如流”平台上线了在线场景道德判断功能，支持用户对随机抽取的场景和行为进行道德评判。

目前，平台首批发布的道德情景规模和已标注的人类道德判断数据量达到万级，场景由人与人工智能协作创造，并经过人工校验，数据文本均采用中文形式，所有道德情景均经过中文本土化标注员审核和校对，以合乎中国价值观和国际共识。

这些道德情景包括了“电车难题”“海因兹偷药”等经典的两难问题，也涵盖闯红灯、电影摄屏等生活中的常见场景。平台邀请关注人工智能伦理道德的公众、专家和相关方，从是否道德、符合或违背道德的程度、对于道德判断的确信度等不同方面进行判断，通过参与者的道德判断和决策，让人工智能的伦理道德表现与人类的“善”相符。

“当前，广泛应用于对话的生成式大模型，最重要的问题是混淆了人类与人工智能之间的界限，现在的人工智能大模型还不具备心智能力。”曾毅表示，要建构有道德的、合乎伦理的人工智能，需要人类以及其他行动者的互动，从技术手段落地人工智能大模型伦理安全框架很有必要。作为“智善”人工智能伦理安全平台体系的一员，“智善·如流”平台将不断拓展对人类和人工智能伦理道德认知与行为刻画的广度和深度，为助力实现人工智能伦理道德的价值同步提供高质量、多样化的数据和工具支撑。

目前，“智善”人工智能伦理安全平台体系已推出“智善·共济”链接人工智能原则平台、“智善·思齐”人工智能治理公共服务平台、“智善·观行”人工智能大模型伦理安全观测站、“智善·如流”：人工智能伦理道德与社会规范的群智数据与知识平台。后续，还计划推出“智善·若水”人工智能道德引擎，这是人工智能向善的长远目标，构建“上善若水”式的人工智能伦理道德模型。

“智善·如流”由中科院自动化所人工智能伦理与治理研究中心、远期人工智能研究中心、善智书院联合研发并提供服务。

来源：北京日报客户端 记者 刘苏雅

流程编辑：u028

关键词：