DCN: 深度交叉网络:
这篇文章介绍的是Google和Stanford在2017年关于广告点击率预测领域的一项经典研究,其中深度模型DNN在特征交叉处理上表现出隐式特性。传统模型中,由于模型容量限制,特征工程占据重要地位。DCN(Deep Cross Network)应运而生,旨在克服DNN的两个缺点同时保留其优点。
DCN模型结构与特点
DCN模型由embedding layer开始,将稀疏特征转换为密集特征并拼接。模型结构分为两部分:右侧是纯DNN,左侧是交叉网络。交叉网络通过多层交叉计算,如X1为两个特征交叉,X2最多可达三个,提供多项式级别的交叉能力。尽管引入的复杂度线性增长,但总体复杂度与DNN相当。
Cross Network分析
Cross Network通过显式高阶交叉,尽管参数量增加,但计算效率得到提升,时空复杂度为O(dLc),其中d为输入维度,Lc为层数。为了增强模型的非线性交叉能力,DCN结合了深度网络模块。
总结
DCN的核心在于其cross network设计,它通过多层交叉计算,提升了模型处理特征交叉的效率,既在效果上高效,也降低了运算量。文章还详细分析了Cross Network的各个方面,对感兴趣的研究者,原文论文提供了深入探讨的资源。