颠覆电视广告投放新技术，自动内容识别ACR全解

智东西

以下文章来源于加智 ，作者智东西公开课

加智

导读：

12月12日，「智东西公开课」策划推出计算机视觉应用系列课第8讲，主题为《利用自动内容识别技术ACR实现精准电视广告投放》，由酷云互动合伙人&CTO陆承恩主讲。

在本次讲解中，陆承恩老师从电视大屏广告投放的演进历程开始讲解，针对实现精准电视广告投放的四大挑战提出了基于自动内容识别技术ACR的解决办法，并对自动内容识别技术ACR的算法设计进行深度剖析，结合实际应用案例给我们带来了系统的讲解。

本文为此次公开课的完整实录。

大家好，我是酷云互动陆承恩，很高兴今天有机会在智东西公开课跟大家分享。我今天分享的主题是《利用自动内容识别技术ACR实现精准电视广告投放》，我将从以下4个部分来为大家分享：

1、 电视大屏广告的演进之路

2、 实现精准电视广告投放的挑战与解决办法

3、 自动内容识别技术ACR算法设计

4、 基于ACR的精准广告平台架构解析与应用

电视大屏广告的演进之路

首先，看一下电视大屏广告的演进之路，我把它总结成5个阶段：

（1） 非智能电视

我们几年前看到的电视，不管是液晶屏的还是显像管其实就是一个显示器，既不能连网也一点都不智能。主要的作用就是用来收看电视节目，这里面的广告以硬广为主。

（2） 智能电视

从2014年开始非智能电视已经基本停产，诞生了智能电视，目前的智能电视主要基于安卓系统。智能电视中比较多的是开机广告，因为在系统启动之前会有一定的时间，很多厂商会在这个时间段去插播开机广告。智能电视初期阶段电视机本身其实没有任何所谓的用户画像，特别是一些传统的厂商，他们不会去做这样的事情。但是一些互联网形态的终端厂商，比如小米会尝试去做。

（3） 精准广告

随着互联网发展出现了精准广告，精准广告其实就是千人千面，对于智能电视的精准广告而言，不一样的地方在于电视具有家庭属性，家庭数据会放到DMP（数据管理平台）里面。在做广告投放时，首先从DMP里圈选出广告主需要的人群，然后针对具体的人群做投放。但是电视本身是一座数据孤岛。数字化伴随着互联网而生，尤其是移动互联网拥有海量的数据，比如像BAT、TMD等这些巨头在互联网领域生根。但是电视难以数字化，数据来源困难。电视本身也没有像手机和人那样的紧密关联，它只是一个松耦合关系，所以在构建DMP的时候是非常困难的。当然目前也有厂商在做这个事情，有的是基于自己的DMP平台，我们也在不断帮厂商去构建自己的DMP平台。

（4） 基于ACR(Automatic Content Recognition)技术的增强电视广告

通过ACR技术识别电视或者说大屏里面的内容，将内容进行数字化，然后就可以把内容和广告关联起来，如果要投放的广告和某个明星相关我们就在明星在大屏中出现的时候投放广告；如果是一个场景，就要在场景出来的时候投放广告，这个都可以通过ACR技术来实现。

实现基于LBS的投放：因为电视机本身是比较固定的，不会像手机一样可以随意移动，那么它就有一个LBS属性，即位置属性。

酷云轻应用平台：这个有点类似于微信小程序，基于我们的ACR技术做了数字化之后，把技术和数字化能力开放出来，去应用于更多的需要在大屏幕上和人产生关联的一些服务，比如在大屏上放置点餐、天气等，这些可以通过酷云的应用平台来做，同时也可以通过这个平台推送和用户、内容相关的广告。

（5）广告闭环效果评估

在移动互联网和互联网中，这个效果一般都是通过点击的行为产生，但是在大屏上面是完全不一样的，因为在大屏上大家以观看为主，很少会有点击的行为，而且电视广告曝光数据也难以采集。但广告主一定会关心广告投放的效果。这个事情以前是很难做评估的， ACR技术便可以解决这个难题。

实现精准电视广告投放的挑战与解决办法

要实现精准的电视广告投放，我们面临着4个难题：

（1）信号采集

即便是在目前的智能电视时代，电视其实很多时候也只是一块屏幕，电视接收到的信号主要是图像信号和声音信号。信号的采集可能需要用到一些AI技术，例如图像处理、计算机视觉、语音处理和语音识别等技术；

（2）内容的理解与分析

首先，因为图像本身是一个实时的视频画面，面对这种实时的视频画面去做分析和离线状态做分析是完全不一样的，它需要的计算量和实时处理的要求也不一样。其次，因为声音和图像都是非结构化数据，数据采集后要能够在DMP广告平台里面使用，就要把非结构化数据进行结构化处理。最后，计算资源有限，比如酷云覆盖几千万台终端，每一块屏幕都在不停的产生数据，都要进行计算。这种计算资源需要的计算量是巨大的，不可能在云端完成所有工作，也不可能都放在终端来完成，因为计算资源有限。

这里还有一点，不同屏幕之间只是一座座孤岛，大屏和小屏之间、大屏和人之间也很难关联，所以在构建用户行为画像时是非常困难的，把用户在其他场景上的行为和大屏联系起来是我们需要解决的问题；

（3）广告信息输出

结合实时的内容实现精准广告的触达，这需要我们对场景、内容本身有实时的识别能力，同时也要非常迅速从我们的广告平台把广告下发出去，来产生比较好的体验，因此实时性是非常重要的；

（4）效果的闭环评估

因为大屏广告一般没有点击行为，如何评价广告效果很困难，但是这件事情又特别的重要，通过ACR技术，把投放的过程数字化记录之后，可以尝试去解决这个问题。

我们利用ACR技术来解决上面遇到的问题，ACR主要做两件事情，第一是精准实时的大屏内容分析，简而言之就是把大屏上的画面和声音分析出来，让计算机能够理解和记录用户在大屏上的行为；第二是连接人和大屏，我们不仅要知道大屏里面的内容，还将观众与大屏关联起来。

ACR解决了4个W：什么时候、什么人看了这个屏幕？里面发生什么事情？精准的地点在哪里？（地点具体到经纬度，经纬度本身有具体的属性。）

我们通过ACR延伸了几项服务：

（1）酷云TV Ad：即大屏精准广告平台，基于10亿+用户数据，广告主在大屏上将获得与互联网一样的投放能力。支持按人或家庭进行精准投放，以及多种创新的广告形式，让酷云TV Ad具备了高转化、强曝光的特点

（2）酷云DMP：以家庭数据为核心的数据管理平台，基于跨屏关联技术，将10亿+用户家内外数据全场景打通，为企业、代理公司、媒体提供实时精准的定向策略与洞察服务。支持自动化对接程序化广告、第三方DMP以及其他流量平台。

（3）酷云EYE Grow：全媒体营销决策平台，为企业、代理公司、媒体提供全媒体营销决策方案。基于电视、户外、互联网媒体的跨屏同源数据，打通企业后链路数据，提供投前策略计划、投中优化监测、投后效果评估的一体化营销闭环产品。

自动内容识别技术ACR算法设计

ACR服务分为云端框架和客户端框架。因为ACR不可能只在云端或客户端运行，需要二者结合。

首先，在云端我们做了大量的数据采集工作，比如在北京会有有线信号直接接到我们的机房里，然后通过卫星信号转发出来再进入到计算服务器里，对这个信号进行实时的分析，同时也会抓取一些网络的视频，进行图像和声音的提取，通过字幕识别、广告识别、商品识别、视频分段、精准EPG、语音识别、听音识别、时延检测、声纹ACR等把图像数据进行数字化，然后做进一步的抽象化。

酷云背后有个AI Center，分别为：K-EYE、K-EAR、K-NOSE、K-BRAIN。

可以看到这是一拟人化的过程，用户所见即算法所见，K-EYE指在大屏观看到了什么图像，K-EAR指在大屏里听到什么声音；K-NOSE是一个嗅探，就是像小狗一样去闻，嗅觉敏锐，这里”闻”是指我们要把用户和大屏的内容关联起来，关联上之后产生一个ID，这个ID在大屏和小屏都是通用的，这样就可以把信息的孤岛打通了，能把大屏和小屏的整个用户行为和所有的时间点串连在一起，就产生了大数据的巨大价值；K-BRAIN是指我们每天有千万量级的终端，在数据采集上来之后要做大量分析工作，后面要做数据挖掘、用户画像分析等。

这个拟人化的技术是非常重要的，比如广告主在投放广告时，如果想知道这个广告有没有投放出去，一般会通过第三方的监测公司去监测。监测公司一般是利用广告回传链接来监测，广告播放的时候会向第三方广告回传链接发送请求，这样即使广告没有曝光也可以访问链接，造成数据不准确。

但是如果利用我们的技术，广告只有在屏幕上曝光了或者这个声音已经被播出来了才能被捕捉到，才认为广告真的被投放了，AI看到的和我们看到的是完全一致的，所以这个数据是真实准确的。

基于ACR的精准广告平台架构解析与应用

整个广告平台是基于ACR的框架作为底层的数据支撑，我们可以看到两点，左边的是我们的ACR云端的服务，下边是酷云的大屏终端，在里面植入了一个ACR这样的SDK，同时有一个推送可视化服务的轻应用平台，用于和用户之间进行交互，做一些展示。

右边是我们的DMP平台，它通过大数据的框架和架构把底层的ACR数据做了各种各样的画像，各种维度的画像生成之后产生了一个DMP平台，那么广告主就可以选择需要的人群进行投放。

所有的大屏终端里面可能包含了好几个我们的服务，因为我们的服务除了和厂商有关系，和一些APP也会有结合，例如把我们的SDK植入到他们的APP里面。一个大屏里面可能会有N个这样的服务,我们还会通过酷云统一KID服务去给他们建立统一的ID，相当于在终端里面，做了一个分布式的架构，然后他们自己会去竞争，产生一个leader出来，大家会把数据统一发往leader，然后由leader统一发往云端，这样就降低了很大的数据量。通过这样的设计极大节省带宽，服务能力也有了显著的提升。

下面重点说一下图片上面的内容管理模块，这里很有意思的是，我们发现很多知识点和技术都是相同的，计算机视觉的一些技术甚至可以在构建广告平台中提供很好的思路。比如同一广告组的广告，可能在很多地方是相似的，只是在一些特定的地方不太一样，为了节省网络的带宽每次只是去传不一样的部分，相同的部分一次性的传到客户端去。

在广告下发的过程中，我们发现传输的数据量巨大，那么如何去降低数据量，降低带宽？我们想到了计算机视觉，大家用c语言比较多的一定很熟悉的一个函数printf，差不多就是这个形式：printf(“hello, %s”, “智东西”)，“智东西”是一个变量，“hello, %s”是一个常量，我们把这种形式改造一下，把常量提取出来做成模版，这个只需要往终端发送一次，变量是每次需要改变的的东西，只有变量才是每次都需要发送的，而且我们把变量统一转化为一个byte数组，那么它就具有了通用性，通过这种模版我们减少了广告投放的大量冗余信息，降低了90%的网络带宽。

其实有很多类似的设计，比如我们在做语音的识别服务时，也用了很多图像处理的经验，比如把语音转化成频谱，然后就变成一个二维的图，在上面寻找一些特征点做特征匹配；在做收视曲线的时候，需要标识出收视率不断上升和下降的区间，这个时候我们用了图像里的关于一个形状的算法：离散曲线演化，就是把形状做抽象，这样我们把比较关键的点找出来之后就可以把上升和下降这条曲线做得很好。

又比如要分析一个月或一年的某一个频道的平均收视率，因为背后的数据量巨大，我们就想到了用积分图来做，在积分图上面查几个点就可以搞定这件事情。

下面分享一个案例，某日化品牌的广告，我们利用ACR技术，在电视机里面播放广告时要立刻把它识别出来，这个时候在电视里面利用声纹识别的方式，去识别电视机里面的这一段广告，提取出这种声音的指纹后在云端做实时的匹配。这个匹配过程不能超过一秒钟，要很快地匹配出来，云端一旦把这个广告检测出来就发送到广告平台。广告平台里面涉及到客户投放广告，投放广告在广告触发时做一个送话费的活动，来吸引大家参与活动从而对广告有一个更深刻的印象。

这个就是用ACR技术识别到广告之后在广告平台进行匹配，然后利用轻应用平台去推送一个这样的卡片，用户就可以用遥控器参与活动了，参与活动获得话费后输入自己的手机号码领取。整个的过程的体验很棒、用户的参与率也很高。

这背后的技术其实并不容易，需要非常精确快速的识别，同时弹出的卡片不能占据其他广告的时间。识别后还需要做一个精准的对齐，整个活动涉及到客户端、云端、大数据平台、DMP等整个广告平台的实时协同。

我们现在利用酷云EYE Grow平台，想法其实是非常多的，我们要做全媒体的闭环营销，这个问题如果解决了，会对业界产生一个巨大的推力，它的本质其实就是数字化。从电视大屏移到户外的大屏是非常迅速的，因为不管是什么屏幕都需要画面和声音，背后都可以使用ACR技术，可以很容易做到平移，这样我们就可以得到最底层的真实可靠的数据，然后利用大数据所产生的价值服务于各行各业。这就是计算机视觉在这个领域产生的非常奇妙而且非常重要的作用，具有很大的价值。

今天我的分享就先到这里，谢谢大家。

END

你的每一个“在看”，我都当成了喜欢▼

原标题：《颠覆电视广告投放新技术—自动内容识别ACR全解！》

阅读原文