近日,美国犹他州希伯市警局使用人工智能辅助生成的警务报告系统出现了严重问题。该系统会将随身摄像机采集到的英语和西班牙语音频转写成文本,再利用OpenAI的GPT-4大模型自动生成事件叙述,并将草稿上传云端供警员校对补充后正式提交。然而,这次“青蛙事件”表明,系统在区分执法现场人声与预先录制的影视音轨时存在明显缺陷。
此次事件发生的是由于随身摄像机内播放《公主与青蛙》这部迪士尼动画片,导致AI系统将片中的情节机械纳入“事实叙述”中,导致警官变成青蛙的荒诞描述出现在警务报告中。幸运的是,编辑报告的警员在提交前发现并删除了这一错误。
法律专家和民权团体指出,这类“幻觉”一旦未被及时纠正,可能会影响案件记录的准确性,并可能在司法程序中引发争议。他们warned,这种情况下,由于没有人主动核对生成内容的准确性,容易导致错误或偏见的报告被提交到法院。
近年来,全美多地警方陆续试用或部署AI转录和报告生成工具,以提升效率、减轻文书负担。希伯市警局警员表示,这些系统可以缩短撰写报告所需时间一半以上,但也引发了人们对AI生成内容准确性和偏见的问题的关注。
目前,该局正在测试另一款名为Code Four的工具,由两名MIT大学学生创办的公司开发。这种工具除了生成报告外,还支持视频自动打码和基于录像内容的分析,据称每周可以为一名警员节省6至8小时工作时间。但是,检察官和法律学者仍担心,如果这些自动生成的报告被直接引入法庭,可能会对案件事实认定产生不当影响。
警方方面则强调,这些系统在实际应用中“总体准确”,并且可以捕捉到人类在高压环境下容易忽略的细枝末节,有助于还原现场全貌。然而,维权人士警告,过度依赖AI生成的执法记录可能会让一线警员产生惰性,也可能在不知不觉中将社会偏见编码进执法文本之中,而“青蛙警官”的荒诞一幕正是这一潜在风险的生动注脚。
此次事件发生的是由于随身摄像机内播放《公主与青蛙》这部迪士尼动画片,导致AI系统将片中的情节机械纳入“事实叙述”中,导致警官变成青蛙的荒诞描述出现在警务报告中。幸运的是,编辑报告的警员在提交前发现并删除了这一错误。
法律专家和民权团体指出,这类“幻觉”一旦未被及时纠正,可能会影响案件记录的准确性,并可能在司法程序中引发争议。他们warned,这种情况下,由于没有人主动核对生成内容的准确性,容易导致错误或偏见的报告被提交到法院。
近年来,全美多地警方陆续试用或部署AI转录和报告生成工具,以提升效率、减轻文书负担。希伯市警局警员表示,这些系统可以缩短撰写报告所需时间一半以上,但也引发了人们对AI生成内容准确性和偏见的问题的关注。
目前,该局正在测试另一款名为Code Four的工具,由两名MIT大学学生创办的公司开发。这种工具除了生成报告外,还支持视频自动打码和基于录像内容的分析,据称每周可以为一名警员节省6至8小时工作时间。但是,检察官和法律学者仍担心,如果这些自动生成的报告被直接引入法庭,可能会对案件事实认定产生不当影响。
警方方面则强调,这些系统在实际应用中“总体准确”,并且可以捕捉到人类在高压环境下容易忽略的细枝末节,有助于还原现场全貌。然而,维权人士警告,过度依赖AI生成的执法记录可能会让一线警员产生惰性,也可能在不知不觉中将社会偏见编码进执法文本之中,而“青蛙警官”的荒诞一幕正是这一潜在风险的生动注脚。