首页 > 业界 > 正文

电商平台的“生死订单”:自杀干预师的高光时刻

2020-09-07 11:26:47来源:中国新闻周刊  

“问你件事,怎样死才不疼?”

8月1日晚上,阿里安全专家武纲和同事接到消息:山东一位16岁的女孩向淘宝商家咨询购买商品,聊天中女孩说自己在线下药店买了大量药物,并问道怎样死才不会疼。

武纲和同事们收到风险信息后,赶紧放下手头工作,启动紧急预案。

作为国内最大的电商平台,淘宝已成为感知社会情绪的一个触角,加上各种App和网络社区,不可避免地会留下人们的心情痕迹,开心的、悲伤的、无聊的、发泄的,当然也包括抑郁甚至自杀倾向的话语等等。

这使得一切都有迹象可查。而武纲和同事们隶属的阿里安全的“守护生命”项目,正是希望借助于互联网平台,利用人工智能技术联动商家、公安、第三方机构建立自杀干预机制。这个项目在去年7月上线,至今已经对2500余人进行了自杀干预。

大数据、人工智能自杀干预早已经开始,但自杀干预的主体转换为互联网“大厂”,还是近年两来的事情,众多大型互联网公司都纷纷成立了相似的部门。而处于水面之下的青少年自杀和相关的心理问题,也因此慢慢浮现出来。

自杀干预师

8月1日,山东女孩在淘宝店家下单后,商家从后续聊天中发现女孩不太正常,有自杀企图。当即联系了“守护生命”小组。

武纲的判断是这可能是一名学生,由于高考失利导致的自杀倾向。直至晚上10点,小组成员多次拨打女孩电话,一直没人接听。

当晚,小组成员联系了当地派出所报警。女孩确实因为想不开有轻生的念头,在警方上门前,家里人对此并不知情。

这是“守护生命”项目上线一年多以来自杀干预案例中的一个。项目由阿里安全七八位全职员工和兼职员工组成,每天早9点到晚10点,他们都在随时待命处理此类风险,晚上10点后也会有人在线值班。全年365天都有人坚持在岗位上,春节和疫情期间项目组也安排人员正常值班,以备需要立即采取紧急预案干预。

武纲原本是药学专业出身,工作中才发现很多正常售卖的商品都可能被消费者用于自杀。出于学药时的习惯和情结,武纲对关乎人生命的事情很敏感。也正是由于自己曾经的专业背景和当下工作所遇到的现实情形,2019年3月,武纲开始在阿里内部试行“守护生命”项目。7月,项目正式上线。

这是一个心理危机干预机制。

当用户在淘宝手机端搜索与自杀相关的内容时,会自动跳出“守护生命”宣导页面,在显著位置提示12355青少年服务热线及国家免费心理咨询热线。页面还设置了心理健康知识板块,引导有焦虑、失眠、情感障碍等特征的人士,通过自我学习,掌握科学应对的方法。更重要的是,这个机制还通过一套业务模型,对潜在自杀者进行人为干预。

一方面利用人工智能技术感知风险,另一方面对商家开展专业培训。当商家发现风险,会及时安抚、劝阻,筑起第一道保护屏障,并通知阿里安全“自杀干预师”。紧急情况下,平台联动警方及时介入。

最开始,是通过商户与消费者聊天内容进行判断,触发预警机制,但这个方法准确度并不高。此后,阿里的工程师开始通过构建多模态神经网络算法模型识别用户是否真的存在自杀风险。为此,阿里的一位工程师特意收集了一万多句关于自杀的文字,用以优化算法。

项目上线后,先是对上千名淘宝商家进行了培训,要求商家在遇到奇怪的订单和买家沟通时主动多问一句购买用途,发现风险时就要求商家拦截订单。刚开始的时候,大多数商家是不太主动参与这个项目的。有人计算过,为了拦截这样一单订单所花费的成本,相当于要付出该件商品两天的营业额。

为了调动商户在第一道防线的积极性,“守护生命”向客服团队申请了2万元的预算补偿。后来,一些头部商家在拦截了几单网购商品,发现自己的行为确实能够“救命”时,参与“守护生命”项目的商家越来越多了。陆续有商家告诉武纲,他们觉得这件事有意义,还有的商家在拦截订单之后表示,不要补偿。

水面下的风险

“守护生命”干预安抚的案例以年轻人居多,其中“90后”和“00后”占比就达到六成以上。用户为年轻人居多的B站提供的数据显示,2020上半年自杀干预案例中,接入报警的有26例,但是流露出深度抑郁和自杀倾向的案例,仅仅5月就有714例。

除去阿里,活跃着年轻用户的腾讯、B站等公司在发现此类信息时,也会启动相关的帮助和服务。在美国,2019年9月10日“世界预防自杀日”前后,Facebook也开始分享有关用户讨论自杀的公开数据,以解决人们对其网站上出现的自杀和自我伤害内容的担忧,并开始聘请健康专家加入安全团队。

B站页面上有一个叫做“动态”的功能,类似于微博。如果有人在里面发布了严重负面情绪等信息,审核人员会介入判断该用户的心理情绪,如果涉及高度危险类内容(重度抑郁、自杀倾向)等,审核人员会及时转交给专业心理辅导客服介入,客服会联系用户进行安全确认,并进行情绪安抚。如涉及更严重的心理问题,客服还会转接至专业心理咨询机构“青小聊”做进一步的心理辅导安抚,若是用户处境不安全,客服会报警协助警方同步处理,确保用户的生命安全。

在B站、百度搜索等地方输入“安眠药”“自杀”等关键词,会跳出提示页面、安抚话语、解决失眠等问题的科普视频,心理咨询机构的联系方式,便于有心理问题但还不是特别严重的网民随时求助。淘宝提供的数据显示,手机App端自从今年6月推出“守护生命”宣导页面后,页面上心理健康知识的视频每日的播放量有2500次左右,前端工作人员感知到的自杀风险量下降近3成。

而腾讯的“微光行动”项目,主要覆盖QQ用户,起因是为了整治类似国外传入的“蓝鲸游戏”这样的诱导自杀行为。该行动2018年7月上线,截至2019年1月,该行动一共封停QQ群组账号2000多个,和警方一起救助了35名有自杀、自残倾向的用户。

2014年,世界卫生组织(WHO)发布的首份预防自杀报告中曾提到,自杀是全球15~29岁年龄组中第二大死亡原因。该组织鼓励全球各国家实施面向全人群的自杀干预策略,方式包括提高卫生保健服务的可及性、促进心理健康、减少酒精的有害使用、限制自杀工具的方便易得性、促进媒体责任等。

在互联网上,人工干预自杀早已不是新鲜事。2018年,武汉科技大学大数据研究院副主任、特聘教授黄智生创立了“树洞救援团”,运用人工智能技术收集互联网信息干预自杀行为,截至2019年底,该组织已经阻止了1600多次自杀行为。而更早的2017年7月,中国科学院心理研究所研究员朱廷劭和团队就开始为有自杀意念的新浪微博用户提供心理危机干预。

朱廷劭团队曾比较了新浪微博上自杀死亡用户和无自杀倾向用户在社交行为、语言使用上的差别,进而归纳出有自杀倾向用户的可识别模式。他在一次演讲中拿出3句不同的用户言论举例说明,这些言论根据程度可以分成1级、2级和3级,其中1级是有自杀意念,2级是有意念的同时有自杀计划,3级是不仅有计划,还有实施。

在心理学研究中,处于“激情自杀”“冲动自杀”类的人内心有很强的求生欲望,尚有倾诉欲和表达欲,属于可干预的范畴,也就是上述所说的“2级”状态。互联网公司的自杀干预处理的有很多是这部分人群。“下定决心要‘走’的人,不太可能会寻找我们这个平台。物流是需要时间的,非常有决心的话,他可能希望立刻得到东西‘走’掉,也可能会采取更激烈的方式。但如果是有意念、计划,但还没有去实施的那类,(这种情况下)就有一些时间可以让我们去争取。”武纲对《中国新闻周刊》表示。

对于互联网公司的员工而言,处理此类生命安全的风险事件,仅仅是网络“救生员”们每天繁忙工作之中的一项,无法算到KPI考核之中。当面对一些尽力却无法挽回的案例,又会让工作人员感到无力。武纲并不觉得团队有多伟大,他们只是遇到那些有烦心事的人,并且恰好陪伴了他们。

“重要的是,结果是好的。”武纲说。

关键词: 电商平台

责任编辑:hnmd003

精彩推送