手机:15566248489
QQ:7606037
微信:chenlimin_ght
地址:沈阳市沈河区文化东路10号步阳国际B1座927
在当今数字化时代,得物不仅是一个购物平台,更是一个充满活力的社区,让用户分享生活的点滴。得物社区中的视频内容以双列流形式展现,每条内容都精心配备了封面和标题,旨在吸引用户的眼球。然而,对于创作者而言,选择视频封面是一项既耗时又费力的工作;而对于消费者来说,封面则是决定是否点击观看的关键因素。为此,得物引入了端智能视频封面推荐系统,旨在降低创作者成本,提升消费者点击率(CTR)。
端智能,即在边缘设备(如手机、物联网设备等)上进行数据处理和智能决策的能力,正逐渐成为技术发展的新趋势。与云计算相比,端智能具有低延迟、节省带宽、数据隐私和安全以及高可靠性等优势。特别是在处理视频封面推荐这类对实时性和隐私性要求较高的任务时,端智能显得尤为合适。
考虑到iOS和Android双端的通用性和开发成本,得物选择了基于MNN框架开发端智能推理基建。这一基建不仅提供了完整的模型管理链路,还方便业务进行模型的下载、运行管理以及熔断和降级处理。同时,得物还建立了完善的稳定性和性能监控机制,确保模型在推理过程中的准确性和可靠性。
为了实现视频封面的智能推荐,得物采用了前沿的内容理解算法。由于端侧模型存在体积限制,得物团队在算法设计上进行了轻量化处理,采用了MobileNetV3结构作为基础框架模块,并重新训练了轻量化图片打分模型。通过数据清洗与数据集构建、loss优化等步骤,最终得到了一个体积小、性能优的模型,其大小仅为24M,非常适合在客户端部署。
在客户端部署方面,得物采用了批量异步计算的方式,提高了封面识别的速度。同时,为了确保推理一致性,得物团队对PyTorch、ONNX、MNN等不同框架的推理结果进行了细致的比对和优化。此外,针对iOS和Android双端的硬件差异,得物也进行了针对性的优化,确保在不同硬件平台上都能获得稳定可靠的推理结果。
自智能封面功能上线以来,得物取得了显著的收益。通过人工GSB(Good Same Bad)评估方法,智能选帧所得的图片在图像质量上相较于默认首帧图片有了显著提升。同时,智能封面的点击率和选择率也大幅提高,其中智能封面点击率达到5.5%,非首帧封面选择率相对提升+25.61%。在内容推荐侧,采用智能封面的视频点击率也有明显提升,与对照组相比,pvctr+13.12%、uvctr+18.05%。