AI公司Anthropic近日向执法部门举报了一名佛罗里达州女子，起因是她在与旗下聊天机器人Claude的对话中发出了暴力威胁。据逮捕报告披露，该女子在聊天中声称要枪击Lee县警长办公室，并在后续对话里提到自己正在获取一把新枪。

Anthropic对聊天内容设有监控机制，会扫描可能构成威胁的关键词句。根据威胁程度的不同，相关内容可能被转交人工审核团队处理。在本案中，人工审核团队评估后决定将情况上报给执法部门。该女子随后在家中被捕。

法庭记录显示，她于9月30日受到一项重罪指控，罪名为通过书面或电子形式发出大规模枪击或恐怖主义行动的威胁。目前案件细节尚未进一步公开。

此案凸显了AI平台在内容审核与公共安全之间的角色张力。Anthropic对Claude对话的主动监控和上报行为，为AI企业如何应对用户生成的危险内容提供了一个具体案例。