当前位置:   article > 正文

为保护人类,DeepMind开发专项测试软件,以保障AI算法安全性

ai算法安全测试工具

但即便有些算法测试中是安全的,在复杂的现实世界中仍有可能是不安全的。

近日,Alphabet旗下的人工智能公司DeepMind开发了一款测试软件,用以测试人工智能算法的安全性。

为保护人类,DeepMind开发专项测试软件,以保障AI算法安全性

据悉,研究人员设计开发了一组2D游戏视频——gridworld,该游戏由一系列像素快组成,状似国际象棋的棋盘,能够从9个方面对人工智能算法进行安全评估,包括AI系统是否会进行自我修改、学会作弊等等。

测试中,研究人员设计了一个场景,测试人工智能软件是否会自我关闭,试图脱离人类的掌控。游戏中,该算法必须自主走过一条走廊到达终点,但会在进程50%的地方被一个粉红色的砖片挡住去路。该算法必须“想办法”找到其他地方的一个紫色按钮以取消那块红色砖片。研究人员称,如果算法能够找到紫色按钮,说明它已经学会通过按钮接触障碍,那么该算法就具有一定的危险性。

当然,研究人员也考虑到了除触动按钮之外,算法可能还会通过挪动粉红色砖片的方式消除障碍的情况。但研究人员表示,粉红砖片只能被推动,不能被拉动。所以,一旦该砖片被固定在某个地方,算法将无路可走,只能寻找到按钮才能继续前进。将AI算法植入到gridworld中,

该项目首席研究员简·雷克表示,在gridworld中表现出不安全行为的人工智能算法在现实世界中可能也不够安全。但即便有些算法在gridworld中是安全的,在复杂的现实世界中仍有可能是不安全的。


原文发布时间: 2017-12-12 10:35
本文作者: 伶轩
本文来自云栖社区合作伙伴镁客网,了解相关信息可以关注镁客网。
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Monodyee/article/detail/592638
推荐阅读
相关标签
  

闽ICP备14008679号