如果AI能够像人类一样拥有意识，它是否可以成为道德考虑的对象?
美国人工智能公司Anthropic围绕这个问题正式开展了AI伦理研究。
Anthropic宣布已经在2024年9月聘请了Kyle Fish作为‘AI福利’专职研究员，并开始探索高级AI模型拥有感知或主体性的可能性。Kyle Fish是AI伦理专家，他共同创立了以伦理为中心的AI初创公司Eleos AI，并撰写了《认真对待AI福利》的报告。
该研究尝试通过实证分析AI系统的内部结构和行为模式来捕捉意识的迹象。Kyle Fish认为，目前AI具有意识的可能性较低，但满足特定条件的系统可以被视为道德主体。Anthropic的Claude 3.7 Sonnet模型被估计其具有意识的可能性在0.15%到15%之间。
Anthropic正在开发一种‘低成本干预’方法，以应对需要进行伦理考虑的AI。这种方法是在不中断系统的情况下，对模拟痛苦反应进行响应的措施。此项研究试图设立伦理干预的标准，以补充可解释性和安全性研究的性质。
公司方面将此项目与其独有的‘宪法人工智能’策略相结合。宪法人工智能是在AI模型中预先内置从《世界人权宣言》等提取的伦理原则，以便在不依赖人类反馈的情况下也能做出一致的伦理判断。目前Claude模型已在这些规则的基础上运行。
Kyle Fish表示，“即使AI不必具备意识，只要存在可能性，就需要进行伦理准备，”“如果发现任何意义重大的迹象，就需要立即而负责任的应对。”
AI专家们评价此次研究不仅仅是技术开发，而是标志着社会对AI是否应该在伦理上受到考虑的讨论转折点。