为看一看及搜一搜“去污”,AI怎么做到的?

新知榜官方账号

2023-07-04 13:10:25

产品经理软技能与低俗色情识别

产品经理软技能是指如逻辑分析、文字表达、语言表达、学习能力、总结能力、创新力、好奇心、情绪态度和团队合作等。

看一看与搜一搜场景的差异分析

1. 业务焦点的差异:低俗色情识别最初应用于看一看场景,主要包括公众号文章、视频和新闻等内容源。随着搜索业务的发展,搜索场景的环境净化也变得刻不容缓,需要低俗色情识别来进行过滤。

2. 数据的差异:从主要PGC生产的较标准的PGC语料转为了全网开放领域(例如搜索query与搜狗网页),色情问题规模也是相较之前有了爆发式的增长。

3. 问题解决环境的差异:看一看中有较完备的人工轮询机制,同时用户负反馈也可以提供很好的问题发现和样本。而到了搜一搜这里,相较海量用户query及网页结果,色情case的比例很低,轮询机制的效率极低。

如何更好地分析样本与评价效果

可以通过分析搜索引擎结果、用户改写串分析、Query与点击doc的联动分析等方法来分析样本。在效果评价上,可以采用精度、召回与F1值作为主要的评价指标。

基于Bert的迁移学习改进

可以使用基于可迁移Pivot词的Bert迁移学习和基于Bert&知识蒸馏的多任务学习等方法来提高模型效果。

本页网址:https://www.xinzhibang.net/article_detail-5357.html

寻求报道,请 点击这里 微信扫码咨询

关键词

看一看 搜一搜 低俗色情识别

分享至微信: 微信扫码阅读

相关工具

相关文章