微信公众号平台-一个好用的微信公众账号推广平台!
公告:
当前位置:首页 > 微信资讯 >

阿里妈妈倡导的智能营销,背后有怎样的技术逻辑?

发布时间:2016-11-25 09:39浏览180次

今年,商家通过阿里妈妈推广投放明显感觉到各类营销产品、营销工具变得自动化,不但操作更简单,而且效果也有明显提升。这背后的原理是什么,可能没有太多人了解。但无疑,今年阿里妈妈智能化的战略方向已开始显效。

人工智能究竟能给阿里妈妈的营销带来怎样的升级?人工智能又是如何让推广投放更有效的?阿里妈妈高级算法专家怀人将从算法和模型的角度介绍,人工智能的想象力在哪里?人工智能又是如何实现的?

以下为怀人分享,经《天下网商》整理而成。

大规模稀疏结构化深度学习

阿里妈妈会捕捉用户在全网的实时行为,比如在淘宝看过什么,收藏过什么,哪些东西看了很多次但犹豫不决没有买等等。基于这些信息,阿里妈妈会进行建模,从而刻划用户的兴趣,基于兴趣再对每一次实时推广投放进行判断,确定点击率预估。

点击率预估通俗来讲就是推广被用户点击的可能性,即CTR(Click-Through Rate Prediction),这对营销来讲很重要,它不仅影响了每个商家每次投放推广的计费,也影响平台对流量的分配。

CTR预估越精确,推广活动更有针对性,用户点击推广的可能性就越大。问题来了,如何提高点击率预估呢?这里面相当有讲究。

在阿里妈妈的推广投放后台,每天接受的推广预估请求超过千亿次,目标用户同样是数以亿计,这些数字背后反映出来的是超大规模+高度非线性的东西。人工肯定办不到匹配,只有技术去解决。

阿里妈妈是怎么做的呢?从整个技术分析来看,阿里妈妈发现数据其实有两个很重要的特点,第一个特点叫稀疏性,第二个特点是结构化。这样两个特性,是推广主所看不到的,但阿里妈妈在技术上需要解决的重要问题。


于稀疏性而言,每天阿里妈妈要给数据的用户实时预估每天看了推广的点击率,那怎么描述推广点击率呢?用特征来描述。如用户是什么用户,推广是什么推广。实际的模型里,会有超过10亿的特征,某些场景下甚至达到百亿级量级的特征。同时,阿里妈妈用来预测的样本会达到千亿量级。所以,稀疏性是这个一个问题的最大特性。

结构化就非常好理解,因为每天每个用户登陆淘宝的时候,会看到不止一条推广,会看到很多条推广。但是对于所谓模型看到用户来说,用户是同一个用户。假设说有两个用户,用户1和用户2,用户1可以看到三条推广,用户2看到两条推广。阿里妈妈把他们组织起来成为样本,按照这个方式组织的时候,所有的样本每天训练一个模型,所需要的样本需要高达100或者1000的TB,这是非常恐怖的量级。

通过结构化压缩了之后可以做什么事情呢?知道用户1是同个用户每天看到三条推广,只要记录一次,说用户1以及后面看到的推广是A1、A2、A3就可以了,这样使得整个样本的存储量压到1—2个数量级以下,现在的模型都可以在几个TB到10个TB这个量级,轻松完成训练。

智能营销最大的困难在模型

数据很容易理解,阿里妈妈有全域的数据,淘宝天猫购物数据、社交数据,位置数据等等。数据只是一个人的材料,把材料加工、分析出来,才能形成用户特征,这个加工过程要靠数据算法完成。


模型挑战

在业界,如谷歌、脸谱、腾讯、百度等都会有一些解法,阿里妈妈称之为传统解法,线性模型+人工智能工程。什么叫线性模型+人工特征工程呢?因为数据特别大,在技术有限的情况下只能用线性模型做预测,但用户点不点推广是高度非线性的,跟用户看到的场景,看到推广长什么样,跟当时的心情和天气都很有关系,线性模型又无法做到。于是就把人得的经验放进去,形成了人+机器做的解决方案。问题是,这不仅费力,而且不可能把所有解决方案做出来,结构也非常庞大,迭代起来比较慢。

阿里妈妈的解法更加优雅和智能,在特征方面没有引入人的规则去设计,而是把用户的原始特征,如历史上表现出来的行为和兴趣,以及推广主的推广体系类目是什么,两者提取出来。然后把所有任务交给模型,让模型从大量的数据里面去自动挖掘出来,什么样的组合模式是最有效的,什么样的组合模式是最有可能点击。这是最重要一个部分,也是整个人工智能背后最核心、最难的一点。

同时整个数据也充分利用了结构化特点,一方面大幅度降低存储,同时使得整个计算可以每天完成一次模型更新,甚至几小时完成一次模型更新。

人工智能的能力

在2012年,阿里妈妈就自主研发,并且提出了一个全新的模型,叫分片线性模型。这个模型想要解决的事情很简单,既然有这么大量的数据,且数据背后的规律足够非线性,那么有没有方法解决得更好一点呢?



当然是可以的,举一个直观的例子,比如说想去判定一下,一个登陆淘宝页面的用户,比如我是男还是女,有人问,我明明是个男性用户,为什么要判定男性呢,很可能我最近一段时间是帮太太在买东西,或者我太太用了我的帐号登陆淘宝买东西,因此需要根据行为判断是男性还是女性用户,或者购物意图是男性还是女性。

从2014年以后,我们陆陆续续会有一些升级版本,第一个版本,当我们意识到这个数据越来越大的时候,刚才一直说多结构化特性,做了第一步优化,要看这个用户的购买概率、转化概率、购买概率。第一部分我去描述用户,第二部分描述推广。先把用户从10维空间投影到20维空间去,在这个空间里面我计算他们之间的所谓相关性和点击率的概率,这是相当容易的事情。所以结构化这里面,除了大幅度降低整个计算,另一方面也是引入了人类一部分专家知识概念在里面,帮助大家学习。这是第一个,引入了所谓结构正则这样一个概念。


第二点引入了模型级联。一个模型可能不一定做得好,我们让多个模型进行工作协同。所谓模型级联,通过多个模型的结果汇总起来变得更好。如果关心技术发展的同学,尤其是关心整个营销和推广发展的同学,可以知道,在今年年初的时候,谷歌大概提出了一套叫外联的Deep Learing这样一套方法,跟我们几乎差不多,只不过我们是两年以前就提出来了。

刚才是讲了整个比较数学形式化的算法是什么样子,在生态环境里面,实现一套非常大规模的实践来支撑这样的模型,达到每天甚至每几个小时完成一次训练的能力。以定向推广主要的模型来看,我们用了几亿的特征,几十亿的参数,几百亿的样本,在线一百多台机服务器大概在几个小时就完成模型更新,从而使得预测和迭代会更加准确。



前面都是大家看不见的,在背后服务商家的CTR技术。随着这几年学术界包括业绩技术方法和计算能力的升级,在研发更加系统的较够,来做更好的预估。

目前的这个系统支持超过1个数量粒的提升,一千亿规模的参数来做训练。参数空间越大,几乎表达能力或者智能能力是往上提升一个数量级的。通过这样一个结构化的存储和计算,在业界并没有看到解决方案的,这是我们很快会发布,在线上去做相应的测试和推广。

相信后面大家会看到一些更好的技术。阿里妈妈OCPM和OCPX背后的技术都是从这个里面产生的。

事实上,阿里妈妈从2012年开始提出了这样一套解决方案,就已经是充分摒弃掉了人的规则在里面,从数据到背后的产出是靠这样一套流程,背后的方案很智能化,可以在不同的业务线。整个阿里妈妈的智能营销,包括直通车,包括钻展、定向,包括单品投放等等,都是用了一些类似的模型和架构和服务。