机器人伦理学:机器的伦理学还是人的伦理学?

1936年,捷克著名科幻剧作家恰佩克(KarelCapek)在喜剧《罗素姆的万能机器人》中首次使用“robota”(机器人)这个词,后来演化为“robot”,指的是经过生物零件组装、为人类服务的奴隶。20世纪50年代后期,恩格尔伯格(JosephF.Engelberger)研制出第一台工业机器人。20世纪60年代,机器人进入了全面发展时期,机器人的发展经过计算智能、感知智能层次,已经向着认知智能层次发展。随着人工智能的应用,机器越来越像人,甚至超过了人类的能力。人工智能机器人通常被认为是人工智能系统的载体,机器人是人工智能的承载者。如何设计与对待机器人也进入学者视野,机器人伦理学(robotethics)因此诞生。我们在追溯机器人伦理研究缘起、分析机器人伦理学的理论预设基础上,对于机器人伦理究竟是机器的伦理还是人的伦理予以澄清。

一、机器人伦理研究缘起

1.机器人技术潜藏着难以预估的风险

从简单的图灵测试到世界上第一位具有国籍的机器人公民索菲亚的出现,机器人的发展有失控的风险,难以预测机器人技术的走向是否能够被人类准确评估与规范,也没有任何的经验或者教训可以借鉴和吸取,贝克(U.Beck)在《风险社会》中提到“正是无法预见的东西创造了曾经未知的情境”[1]。21世纪以来,军用杀戮机器人在战场上误杀无辜生命,无人驾驶汽车致使行人死亡,聊天软件公开发表种族歧视、性别歧视的言论,人脸识别涉嫌种族歧视,机器人在虚拟互动中通过“作弊”获得用户的隐私信息等负面事件不断出现,引发人类对于机器人的负面效应的思考。机器人技术出发点本来是“为己”的,现在却变成了“异己”的力量,导致“机器人异化现象”出现。机器人带来失业风险,福特(MartinFord)在《机器人崛起:技术,以及失业的未来威胁》中着重从教育、金融以及医疗等领域机器人的发挥说明机器人的社会影响,特别是导致劳动者失业[2]。有的学者认为智能机器的负面影响已经超过了正面的积极作用,智能机器人所带来的风险超过了它的积极作用。智能机器人所带来的负面影响和风险给人类生活造成了影响,从失业风险到信息泄露,机器人的出现不但带来技术风险而且带来社会风险和环境风险,甚至影响人类生命安全,机器人的负面影响及其伦理规范引发学者思考。

2.机器人威胁人类的主体地位

随着人工智能的发展,机器越来越像人,机器不仅仅具有工具属性,还具有独特的存在价值,机器人开始挑战人类的主体性,人类对智能机器的发展表现出恐慌心理。智能机器不仅仅是简单的工具与客体,机器人不再局限于人类肢体的延伸与作用的增强,机器人具有自主决策与推理能力,可能具有自由意志与人类情感,这可能威胁到人类的主体地位,引发人类主体性地位丧失。随着机器人技术的突破,智能机器人在社交、知觉、创造力、自然语言理解等方面的能力不断突破,在带来巨大的物质力量、促进社会进步与人类发展的同时,也引发人类主体性地位丧失的可能性与风险。西蒙(H.Simon)、纽维尔(A.Newell)与数学家肖(C.Shaw)的研究结果表明,机器是可以使用逻辑规则进行推理,并最终作出合理决策的。人工智能先驱明斯基(MarvinMinsky)在《理解人工智能》杂志上发表《机器人会掌控世界吗?》来探讨机器掌控人类世界的问题。国际象棋被公认是挑战人类智能的一项运动,1997年,深蓝计算机战胜国际象棋冠军卡斯帕罗夫就曾引发人类对于机器智能超越人类智能的思考。“技术可以导致人类的劳动价值丧失;个人的孤独封闭和人际间的疏远冷漠等精神方面。人的思维成为无必要的。技术就是一个摒弃人类能力的过程。”[3]智能机器的发展正在日益威胁到人类的主体性地位。

3.机器人带来新的伦理问题

机器人伦理学家格鲁吉奥(G.Veruggio)指出:“机器人技术正在迅速成为科学技术的领先领域之一,因此我们可以预言在21世纪人类将与我们所拥有的第一个外星人智慧共存———与机器人接触。”[4]机器人的出现与发展,除了需要解决传统的伦理问题之外,还引发一些新的伦理问题。随着机器人的应用,机器误伤儿童、无人驾驶汽车撞死人事件时有发生,影响人类安全。例如,2016年,谷歌Lexus无人驾驶汽车事故;2018年5月,特斯拉Autopilot模式引发的交通事故;2018年,Uber无人驾驶汽车致人死亡事故等,这些都涉及机器人使用安全问题。1979年1月,美国发生第一例机器人杀人事件,1982年英国某工厂的机器人将操作员的手臂砍断。2016年11月18日,在第十八届中国国际高新技术成果交易会上,发生机器人伤人事件。机器人伤人、杀人事件时有发生,威胁人类安全,到底是设计者还是机器应该对此类事件负责呢?这带来机器是否是道德主体的疑问。机器学习与图像识别技术让无人驾驶汽车轻松上路,却带来机器设计道德上的伦理困境的思考等等。机器人采集数据涉及到数据共享与隐私之间的悖论。数据既包括个人的社会信息,比如通信方式、家庭住址等,也包括个人的物理信息,如个人的人脸识别特征、指纹、音色等,这些信息一旦被滥用,则可能对个人的生命、财产安全构成威胁。机器人是否能够独立承担责任等伦理问题。由于不能公平地使用机器人带来国家与地区间的经济发展差异,机器人的使用导致社会不公平现象的出现等。上述问题都是随着机器人出现而引发的新问题,我们也尝试通过在机器人中内置道德来规避这些新伦理问题,寻找解决传统伦理问题或者新伦理问题的途径。

二、机器人伦理学理论预设分析

机器人伦理学随着机器人出现而诞生,2004年,由意大利比萨圣安娜艺术实验室和罗马圣十字学院的神学研究所合作举办的第一届机器人伦理学国际研讨会,推动了人们对机器人伦理学的关注。格鲁吉奥在这次会议中提出“机器人伦理学”这个术语,2004年,IEEE-RAS成立了机器人伦理技术委员会。2004年2月25日,日本发布《福冈世界机器人宣言》。2005年、2007年机器人与自动化国际协会在西班牙的巴塞罗那召开机器人伦理的研讨会,对机器人伦理学进行研究。

1.人与机器的区别是机器人伦理学的理论预设

首先要承认机器人与人相区别,机器不可能成为人,也就不能成为道德主体,这样才有机器伦理学与机器人伦理学的区分。所谓道德主体(moralagents)指的是具有自我意识,能够进行道德认知,能够进行推理并形成自我判断,能够进行道德选择与实施道德行为且承担道德责任的道德行为体。在此基础上,才有可能研究机器人伦理学。人工智能先驱德雷福斯(H.Dreyfus)强调人与机器的区别,他在《计算机不能做什么:人工智能的极限》一书中提出人工智能是基于生物学假设、心理学假设、认识论假设以及本体论假设基础之上的。“生物学假设:在某一运算水平上,大脑与计算机一样,以离散的运算方式加工信息。心理学假设:大脑被看做一种按照形式规则加工信息单位的装置。认识论假设:一切知识都可被形式化,可以被编码成数字形式。本体论假设:存在是一组在逻辑上相互独立的事实,知识可以被编入计算机程序。”[5]从德雷福斯总结的人工智能的四个假设来讲,机器与人有本质的区别,人类推理依赖于本能与直觉,而智能机器依赖于算法与程序,智能机器不可能具有人类一样的道德主体地位,学者基于机器与人的区别关注机器人伦理。

2.机器人不具有道德主体地位

机器人不可能成为道德主体,这是机器人伦理学的第二个理论预设。美国达特茅斯学院的哲学教授摩尔(JameH.Moor)在《机器伦理的本质、重要性与困难》(TheNature,Importance,andDifficultyofMachineEthics)中提出,界定机器是否具有道德主体地位是困难的,伦理只是情感的表达,机器不可能有情感,但在当今的技术世界,我们不能也不应该避免对机器伦理的考虑。摩尔通过层次模式对人工道德主体进行了分类,他把道德主体分为四类:道德影响主体(ethicalimpactagents)、隐性道德主体(implicitethicalagents)、显性道德主体(explicitethicalagents)以及完全道德主体(fullethicalagents) [6]。最低层次是“道德影响主体”,指的是任何可以对其道德后果进行评估的机器。摩尔举例在卡塔尔启用机器人代替了小男孩参加骑骆驼比赛来说明机器对道德的影响。第二层次是“隐性道德主体”,指的是机器的设计者通过解决设计过程中的安全和关键可靠性问题,努力对其进行设计,使其不会产生负面的道德影响。在这种意义上,所有的机器都应该被设计成隐含的道德主体,都是为了避免不道德的结果而被限制某方面功能的机器。第三层次是“显性道德主体”,指的是机器使用伦理类别作为其内部编程的一部分进行伦理推理,可能使用各种形式的道义逻辑,或者使用各种其他技术,这种机器是具有道德行为算法的机器,有一定的伦理判断及行为能力。在摩尔看来,显性道德主体弥补了人类的不足,因为人类在获取与处理信息方面的能力可能不如计算机,在决策速度上也不如计算机。显性道德主体在避免灾难的情景中可能是最佳的道德主体。第四层次是完全道德主体,完全道德主体表现在机器与人类一样具有伦理道德能力,即具有自由意志、具有意识及意向性,这种机器具有完全的道德主体地位。机器人不具有自由意志、意向性,因此,机器人不具有人类的道德主体地位,不能准确评估行为后果,也不能独立承担责任,机器人只是按照程序行动,不具有人的主观性,因此机器人不能作为道德主体。

三、机器人伦理学的内涵辨析

2017年,瓦拉赫(WendellWallach)与阿萨罗(P.Asaro)编辑了《机器伦理与机器人伦理》一书,收集了关于机器伦理与机器人伦理以及道德主体等方面的文章。机器人伦理(robotethics)与机器伦理(machineethics)在内涵界定、研究范畴以及责任主体方面都有差异。

1.机器人伦理学与机器伦理学内涵辨析

机器人伦理学家格鲁吉奥首次将机器人伦理学缩减为“roboethics”这个单词,他认为机器人的发展是由三大基本元素构成:人工智能、机器人技术和伦理学,其中,机器人技术是一个研究机器人的设计、制造、操作和使用的领域。人与机器的区别是机器人伦理学的研究预设,首先要承认机器人与人相区别,机器不能成为人,也就不能成为道德主体。机器伦理学与机器人伦理学内涵不同,机器伦理学指的是机器具有了人的主体地位之后出现的伦理问题,例如,机器如何表现出符合人类伦理道德的行为,机器伤害人类后如何承担责任,等等。机器伦理学是人工智能伦理的一部分,涉及到人工智能物的道德行为,人工智能机器作为实际的或潜在的道德主体而存在,不但如此,机器可能具有自主学习能力,具有自我意识、自由意志、人类情感与人类智能。机器具有自由意志和道德主体地位,能够独立承担责任是机器伦理学的理论前提。美国人工智能专家库兹韦尔(RayKurzweil)预言:“拥有自我意识的非生物体(机器人)将于2029年出现,并在21世纪30年代成为常态,他们将具备各种微妙的、与人类似的情感。”[7]机器与人一样具有理性,能够辨识自己的行为,能够独立承担责任的道德主体,因此,可以有针对机器的伦理学,机器伦理学关注的是机器对人类用户和其他机器的行为,机器伦理是以机器为责任主体的伦理学。

2.机器人伦理学与机器伦理学的研究范畴辨析

机器人伦理学与机器伦理学研究范畴有相近之处,机器伦理学是关于以机器为智能主体的研究。例如,2009年,牛津大学出版社出版了温德尔·瓦拉赫(WendellWallach)与科林·艾伦(ColinAllen)的《道德机器:如何让机器人明辨是非》(MoralMachines:TeachingRobotsfromWrong),涉及到机器自主行为的伦理后果以及机器自主的最近和潜在发展,关注的是像人类伦理一样的机器道德。机器伦理学的发展要求在机器上增加一个道德层面的内容,提高道德考量比重。2011年,美国康涅狄格州哈特福德大学机器伦理学家迈克尔·安德森(MichaelAnderson)与美国大学哲学系教授苏珊·安德森(SusanLeighAnderson)夫妇编著《机器伦理》(MachineEthics)一书,对机器伦理的本质与内涵进行详细分析,机器伦理学研究机器道德,把机器作为具有自由意志,能够独立承担责任,具有道德主体地位,机器与人的地位是完全相同的。机器人伦理学与机器伦理学的研究范畴不同,它指的是人在设计机器人中的伦理学,机器人伦理学的研究范畴主要包括机器人制造与使用阶段的伦理道德问题以及把人类道德规范嵌入到机器人的操作系统中等问题,关注机器人设计者的道德以及机器人设计应用引发的人类安全、设计公平、社会稳定以及环境影响等问题。

3.机器人伦理学是以人为责任主体的伦理学

机器人伦理强调人与机器的区别,机器伦理把机器当做人来看待。学者基于机器与人的区别关注机器人伦理。美国加州理工大学哲学系帕特里克·林(PatrickLin)在《机器人伦理:机械化世界的问题映射》(RobotEthics:MappingtheIssuresforaMechanizedWorld)中强调机器人设计,关注在机器人设计环节如何实现价值的嵌入,从而设计出有道德的机器人,提出设计具有同情心和无私情怀的机器人的设想。帕特里克在《机器人伦理2.0:从自动驾驶汽车到人工智能》(RobotEthics2.0:FromAutonomousCarstoArtificialIntelligence)中,认为构建机器人伦理要在道德机器的基础上,增加法律责任的考量,指出随着智能机器人的智能水平的不断提高,智能机器能在一定程度上为其行为负法律责任,并详细阐述了其法律责任分配的依据,其中就包括了设计者可能要肩负的法律责任等内容。对于机器人伦理来讲,研究主要集中在人类负责任和不负责任地使用人工智能技术。根据机器人伦理学家阿萨罗的概括,机器人伦理学至少包括三个方面内容:“首先,机器人内置的伦理系统;其次,设计与使用机器人的伦理;再次,人类如何对待机器人的伦理”[8]。可以看出,人机关系是机器人伦理的核心问题,机器人伦理学指的是人在设计机器人中的伦理学,机器人制造和部署的伦理道德问题,用来处理人们发明机器人的伦理道德问题。在机器人伦理学家看来,机器不具有人类的主体地位,也不能独立地承担责任。人工智能仍然只是人类决策的辅助工具时,即机器仍由人来控制和干预时,机器作恶可用已有的道德和法律规则来进行约束,因为此时作出错误决策的是人本身而非机器,机器只是人的命令和指令的执行者而已。机器人伦理学主要关注的还是机器设计中的设计主体责任以及机器应用带来的社会伦理问题,从这个意义来讲,机器人伦理学是作为应用伦理学的分支存在的。

通过上述分析我们可以知道机器人伦理学关注人工智能设计以及人工智能给人类带来的伦理问题,例如,数据挖掘伦理、人工智能社会伦理等问题;机器伦理认为人工智能具有自我推理与决策能力,所以主要研究机器在决策过程中决策失误、伤害人类身体以及损害人类利益中的伦理问题。机器人伦理学是设计、制造以及对待机器人的伦理学,这种伦理学一般针对设计主体来说的,机器人伦理学属于“以人为中心”的伦理学,责任主体是人,主要研究设计者在机器人设计、使用中的伦理规范;机器伦理学是机器人具有了人类智能后应该遵循的伦理规范,机器伦理学是“以机器为中心”的伦理学,责任主体是机器。这是机器人伦理学与机器伦理学之间的本质差异。

四、机器人伦理学的实践路径

机器人伦理学是一门迅速发展的跨学科研究,它属于应用伦理学与机器人学的交叉领域,旨在理解机器人技术,尤其是机器人的伦理含义和后果。机器人伦理学是以“人”为责任主体的研究学科。研究机器人伦理应该在分析人的机器人伦理立场、机器人伦理的研究进路以及机器人伦理的制度保障等方面进行研究。

1.机器人的伦理立场分析

2005年,格鲁吉奥与欧普图(F.Operto)等人在美国电子电气工程师协会召开的机器人与自动化国际会议上总结了对待机器人的三种伦理立场:第一,对机器人伦理没有兴趣;第二,关注机器人伦理的短期问题;第三,关注机器人伦理的长期问题[9]。对机器人伦理不感兴趣的人认为人类的行为是中性的,不负载价值,因此设计机器人、利用机器人不存在价值取向,设计中不存在设计者的道德责任,因此,没有必要提倡机器人伦理。对机器人伦理的短期伦理问题感兴趣,坚持这种立场的人认为机器人应该区分为“好”与“坏”两类。他们觉得机器人必须遵守社会习俗或者参考某些文化价值观,包括在不同领域“尊重”和帮助人类。对机器人伦理的长期伦理问题感兴趣,坚持这种立场的人从全球性、长期性视角关注机器人的伦理问题。例如,关注发达国家与发展中国家的“数字鸿沟”,承认工业化国家和贫穷国家之间的差距,思考发达国家是否应该改变他们发展机器人的方式以便有利于发展中国家发展等长期性伦理问题。

2.机器人伦理研究进路分析

瓦拉赫、艾伦与斯密特(I.Smit)提出机器人伦理的两种进路:即“自上而下进路”(top-downapproach)与“自下而上进路”(bottom-upapproach)。自上而下的伦理学进路建立在找出或者表征作道德决策的一般或者普遍原理的基础上。自上而下的进路是将规则转换为道德算法嵌入到机器人设计中,例如将效果论(consequentialisttheories)、功利主义(utilitarianism)伦理学、康德的道德律令、法律和职业规则等嵌入到机器人的设计中,将人类的道德决策分解为可计算、可管理的模块或者组件。在这种意义上,阿西莫夫机器人三定律就属于“自上而下”的机器人伦理学,“任何讨论'自上而下’式的机器人道德设计不能不谈阿西莫夫三定律”[10]。阿西莫夫机器人三定律包括以下三条:“第一条,机器人不得伤害人类个体,不能目睹人类受到伤害不干预;第二条,机器人必须服从他的命令,命令与第一条冲突时除外;第三条,机器人在不违反第一第二条的原则下,要保护自己的安全。”[11]后来又增加了“第零法则”,即机器人不得伤害人类,或者,因为不作为,让人类受到伤害。

因为机器具有智能以及自我推理与决策能力,应该通过前摄伦理或者在机器中嵌入人类道德。需要一种“道德算术”,例如,吉普斯(JamesGips)给出基于效果论机器人的“自上而下进路”的尝试。吉普斯认为在结果论中,行为由结果来判断,为了能够以结果论的方式进行道德推理,机器人应该具备以下条件:描述世界情境的方法;产生可能行动的方式;一种手段可以预测基于当下情境采取行动而导致的后果;根据情况的好坏或者可取性来评价它的方法。在此基础上吉普斯构建机器人伦理的评价指标体系,通过分析道德利己主义者与道德利他主义者的差异,将道德分解为机器人可执行的算法来思考机器人伦理的自上而下研究进路的实践路径。除此之外,吉普斯还给出基于义务论(deontologicaltheories)与美德论(virtue-basedtheories)的机器人伦理的自上而下的研究进路。义务论不同于结果论,在义务论中行为的评价是基于行为本身,而不是基于行为的结果。效果论一般不关注特定的行动实施的理由以及行动实施的主体,但道义论把责任直接归属于主体的具体本性,不同种类的主体就会有不同的责任。吉普斯通过把普遍的道德规范变成具体的道德算法从而使机器人行为符合道德规范,这是非常典型的自上而下研究进路。通过伦理原则在机器人中嵌入道德,关注设计者的责任与道德。

机器人伦理的“自下而上”的研究进路是按照具体的设计情景来制定具体的设计标准。人类的道德是动态的,必须在具体的设计情景中去把握。必须协调好利益相关者之间的关系,可以通过计算机模拟测试各种设计策略,运用博弈论观点选择最佳设计方案。丹尼尔森(PeterDenielson)在《人工道德:虚拟游戏中的道德机器人》[12]中提出“功能性道德”,认为理性是智能体成为道德智能体的前提条件。霍尔(JoshDtorrsHall)也关注自下而上的道德机器设计,2007年,他编著《超越人工智能:创造机器良知》(BeyondAI:CreatingtheConscienceoftheMachine),霍尔认为人工道德智能体需要一个“共谋者担保协议”以便从动态的情景去设置道德算法。机器人伦理从动态的社会机制输入道德信息,从而对人工道德智能体的整体设计提供技术与标准。还有的学者坚持“自上而下”或者“自下而上”相结合的研究进路,通过普遍性的伦理规则与具体的道德情境相结合,构建人工道德智能体。

3.机器人伦理的制度保障分析

没有既定的伦理准则与法律制度去遵守和执行,机器人具体伦理要求能否在技术层面真正实现还存在争议。为了规范与引导机器人技术的良性发展,国家部门、社会组织、行业学会以及设计者也从不同视角作出努力。2004年,机器人伦理技术委员会(TheTechnicalCommitteeonRobotEthics)建立,目的是提出和解决机器人研究和技术所引发的相关的紧迫伦理问题。2005年,欧洲机器人学研究网络(EuropeanRoboticsResearchNetwork)资助机器人伦理学工作室(RoboethicsAtelier)项目,任务是绘制第一个机器人伦理路线图(roboethicsroadmap)。机器人伦理路线图的最终目的是对机器人研发中涉及的伦理问题提供系统的评估;增加对有关问题的认识,并促进进一步的研究和跨学科研究。2016年,联合国教科文组织与世界科学知识与技术伦理委员会联合发布报告,讨论机器人进步以及带来的社会与伦理道德问题。2016年,英国标准协会(BSI)颁布《机器人和机器系统的伦理设计和应用指南》。2017年1月,阿西洛马会议公布的阿西洛马人工智能原则(AsilomarAIPrinciples)从科研问题、伦理价值以及长期问题三个视角保障人工智能的安全与合乎道德,给机器人设计者戴上“紧箍咒”。IEEE在2015年和2017年提出“合乎伦理设计”(ethicallyaligneddesign,简称EAD)规范,呼吁在机器人设计中嵌入人类规范与道德价值观,避免人工智能导致的社会不公平、算法歧视等社会问题。

除此之外,各国还制定相应的法律法规保障机器人的规范发展。例如,2008年,韩国国会议员提出《智能机器人法》,韩国政府强制实施的机器人特许状制度,用法律与制度约束机器人产业的发展,2017年韩国出台《机器人基本法案》,2017年2月16日,欧盟议会投票通过一项决议,就制定《机器人民事法律规则》提出具体建议。日本对于机器人应用部署问题制定的管理方针,包括建立中心数据基地来存储机器人对于人类造成伤害的事故报告。

综上所述,机器人伦理学不同于机器伦理学,机器人伦理学是以人为责任主体的伦理学,涉及到人类如何设计机器人,如何将人类道德嵌入机器人以及如何对待机器人等问题。我们应该通过普遍性的伦理规则与具体的设计情景相结合,发挥设计者、行业协会、企业、政府部门等不同设计主体的作用,通过法律、伦理等不同层面保障机器人的良性发展,发挥机器人的积极作用。

闫坤如

【参考文献】

[1]乌尔里希·贝克.世界风险社会[M].吴英姿,孙淑敏,译.南京:南京大学出版社,2004:11.

[2] FordM.RiseoftheRobots:TechnologyandtheThreatofaJoblessFuture[J].NewYork:BasicBooks,2015:1-3.

[3] EllulJ.TheTechnologicalSystem[M].GrandRapids:Wm.B.EerdmansPublishing,1990:95.

[4] VeruggioG.TheBirthofRoboethics[R]//IEEEInternationalConferenceonRoboticsandAutomation.Barcelona:ICRA,2005.

[5] DreyfusHL.WhatComputersStillCan'tDo:ACritiqueofArtificialReason[M].Cambridge:MITPress,1992:156.

[6] MoorJH.TheNature,Importance,andDifficultyofMachineEthics[J].IEEEIntelligentSystems,2006,21(4):18-21.

[7] KurzweilR.HowtoCreateaMind:TheSecretofHumanThoughtRevealed[M].NewYork:ThePenguinGroup,2014:195.

[8] AsaroPM.WhatShouldWeWantfromaRobotEthic?[J].InternationalReviewofInformationEthics,2006(6):9-16.

[9] VeruggioG,OpertoF.Roboethics:ABottom-upInterdisciplinaryDiscourseintheFieldofAppliedEthicsinRobotics[J].InternationalReviewofInformationEthics,2006(12):2-8.

[10] WallachW,AllenC.MoralMachines:TeachingRobotsRightfromWrong[M].Oxford:OxfordUniversityPress,2008:91.

[11] 阿西莫夫.银河帝国8:我,机器人[M].叶李华,译.南京:江苏文艺出版社,2012:1.

[12] DenielsonP.ArtificialMorality:VirtuousRobotsforVirtualGames[M].London:Routledge,2002.