涨知识丨透视阿尔法狗背后的“深度学习+强化学习”算法

世界排名第一的围棋棋手柯洁对人工智能机器人连输三盘，被“阿尔法狗”虐哭。

世界排名第一的围棋棋手柯洁与谷歌旗下的人工智能机器人AlphaGo（“阿尔法狗”）5月23日至27日在乌镇的对弈，吸引社会广泛关注。这是“阿尔法狗”去年3月大胜韩国棋手李世石后，与围棋大师的再次交战。不出意外的是，柯洁连败三局。

引领“阿尔法狗”出奇制胜的系统，是一套“深度学习+强化学习”的算法模型。在人工智能的日常应用中，能够进行小样本分析的“迁移学习”算法模型也十分重要。业内专家表示，未来人工智能的发展趋势将是深度学习、强化学习、迁移学习三者融合互补。

“阿尔法狗”不断进化：

深度学习+强化学习

去年韩国职业棋手李世石曾与“阿尔法狗”对弈，采取的五局三胜制，最终“阿尔法狗”以4：1获胜。今年柯洁与“阿尔法狗”对弈改变了规则，仅比三局，柯洁连败。

“阿尔法狗”的“大脑”，是机器学习系统，即一套机器模拟人脑运算的体系。支撑“阿尔法狗”的机器学习算法，是“深度学习+强化学习”。

先来解释深度学习。美国人工智能学会理事、香港科技大学计算机科学及工程学系主任杨强告诉记者，实际上，人工智能技术已走过了60年历程，直到近年来机器学习技术中的深度学习算法取得突破，才迎来春天。深度学习概念由加拿大学者Geoffrey Hinton提出并不断完善，意为使机器模仿人脑神经网络的学习、判断和决策能力。

在深度学习过程中，数据至关重要，是训练机器智能的沃土。去年在对弈李世石前，“阿尔法狗”以半年时间集中模仿学习了3000万步人类围棋大师的走法，并从自我对弈中积累胜负经验。

与去年相比，今年，“阿尔法狗”的算法有三大显著的进步。

其一，其学习的数据全部来自机器自身，而非人类。“阿尔法狗”项目负责人David Silver介绍，最好的训练数据不是来自于人类，而是来自于“阿尔法狗”自己，利用其强大的搜索能力，生成数据，让下一代的“阿尔法狗”学习。由于数据优质、算法高效，因此“阿尔法狗”计算量仅为去年对阵李世石时的1/10。

其二，由多机运行升级为单机运行，更便于应用。去年“阿尔法狗”使用了谷歌云上的50个左右TPU，使用多台电脑运行，而今年的“阿尔法狗”使用了4个TPU，单台电脑即可运行。

其三，强化学习重要性进一步凸显，机器自我决策能力大大提高。人工智能强化学习概念，借鉴自心理学，即机器会在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。强化学习的本质是实现“自动决策”。机器会在没有任何指导、标签的情况下，尝试行为，得到一个结果，再判断是对还是错，由此调整之前的行为，通过不断地调整，算法持续优化。搜狗CEO王小川认为，强化学习的算法更接近于人类的思维模式。

目前，深度学习和强化学习的算法已经得到了一定的应用。研发“阿尔法狗”的团队、谷歌旗下的DeepMind公司已与英国国家医疗服务体系（NHS）合作，与眼科医院共同开发一套用于早期识别视觉疾病的机器学习系统，通过对眼球扫描图像的分析，发现糖尿病视网膜病变、老年性黄斑病变的早期症状。

国内云知声、科大讯飞公司运用深度学习算法，开发了语音识别系统，在北京市的部分三甲医院应用，语音录入病例，节省了医生的大量时间。第四范式公司利用深度学习算法，为银行开发了风控模型。还有诸多巨头都在开发人工智能的“对话机器人”，如微软的“小娜”、谷歌的“Allo”、苹果的Siri、百度的“度秘”等，均应用了深度学习和强化学习的算法。

迁移学习：

人工智能新高地

目前的深度学习和强化学习算法，虽然进步迅速、得到了一定的应用，但仍面临一定局限性。

杨强表示，深度学习的局限性在于，必须依赖庞大且优质的数据量。然而目前，数据源、数据算法、数据应用的市场高度分离，数据高度集中在谷歌、脸书、亚马逊、BAT等互联网巨头手中，高质量的大数据高度垄断、不易获得。

强化学习的问题在于，不仅速度慢、反馈延迟，其分析的数据还有可能和大部分数据不同，存在数据偏差，在这样的情况下，强化学习就会“将错就错”，运算结果不可信。

面对上述局限，迁移学习的方案出现了。2005年，杨强在全球计算机学界率先提出“迁移学习”概念，强调“深度学习＋小样本”理念，即将大数据训练好的模型迁移到类似场景改进应用，其特征是小数据、冷启动，打破了“逢模型必大数据”的局限。

“比如，将骑自行车的经验应用在骑摩托车上，就是迁移学习。‘阿尔法狗’能适应19×19的棋盘，那么，如果要迅速适应21×21的棋盘，就需要迁移学习算法。”杨强说。

2005年，微软举办的世界数据挖掘大赛中有关于搜索技术的竞赛题目，杨强团队利用迁移学习，将机器在其他领域的经验迁移过来，夺得了三项大奖的世界第一。

在IT行业，迁移学习已有局部应用。第四范式公司创始人戴文渊在百度负责名为“凤巢”的广告营销系统时，利用迁移学习将百度搜索算法应用到问答社区“百度知道”，使后者点击率提升四成；腾讯将大规模在线电商推荐任务迁移到新领域，大大减少了数据需求量；微软也利用迁移学习分析了电商产品的舆情取向。同时，杨强还曾在华为创立人工智能领域实验室，利用迁移学习技术研发了十几个智能移动终端的专利，已在国内外注册。

深度学习、强化学习、迁移学习

将深度融合

业内人士认为，深度学习、强化学习、迁移学习各有千秋、互补性强，未来，三者融合发展将是人工智能行业的必然趋势。

目前，融合的趋势已经出现。曾经不被热炒的迁移学习概念，在2016年以来得到了业界广泛关注。脸书（Facebook）人工智能负责人Yann Lecun、提出深度学习概念的 Geoffrey Hinton、斯坦福大学人工智能实验室主任吴恩达等人，都开始对迁移学习发表评论。DeepMind也将把迁移学习与深度学习融合的技术作为突破口全力攻克。

在今年国际权威学术会议“神经信息处理系统进展大会”（NIPS）上，迁移学习的文章数量大幅增加。杨强是评审委员会委员，他告诉记者，今年有关迁移学习的论文有60多篇，而往年只有约10篇。

杨强表示，深度学习和强化学习，都可以和迁移学习相结合。

深度学习有不同的层次和类型，运用迁移学习技术，可以利用彼此相通的部分，减少训练算法所需要的数据。比如，处理文字识别的深度学习模型和处理语音识别的模型有所不同，但彼此相通，就可以利用迁移学习模型。

强化学习的优势在于自动决策，这一特点与迁移学习、深度学习结合，就可以最大限度地实现算法的智能化——样本量大的时候，用深度学习技术；样本量不够，就让算法模拟少量的样本进行学习。

去年起，机器学习领域，蒙特利尔大学学者率先提出的“生成式对抗网络”成为热门概念。这一算法，就是将深度学习、强化学习、迁移学习相结合。

这一模型中，有两个博弈方，分别为“生成式模型”和“判别式模型”。前者不断捕捉训练库里真实数据的概率分布，将输入的随机噪声转变成新的样本，也就是“假数据”；后者判断前者生成的数据是否符合原始真实数据的分布特征。

杨强表示，生成式模型其实是利用小数据去模拟大数据，而判别式模型则可以防止模拟结果走偏，随时纠正。小数据模拟大数据，正是迁移学习的特点，而算法的判断能力，则有赖于深度学习和强化学习的基础。未来，三种算法的融合，将成为行业趋势。在O2O、自动驾驶等领域，数据瞬息万变，应用潜力巨大。

机器学习的算法成果显著，面临的挑战也十分突出。

开发语音识别技术的公司云知声CEO黄伟表示，人工智能的应用可以按照机器思维能力分为感知、认知和主动思维三个阶段。目前，人工智能仍然处于感知和认知的阶段，远未实现主动思维。

杨强表示，目前限制机器学习算法应用的一大阻碍就是数据量不足。因此，拥有算法技术的个人和机构，必须广泛地获取数据，不断拓展机器学习的潜力。

经营智能营销业务的神策数据CEO桑文锋表示，智能算法的应用场景仍然需要得到进一步的开拓，这要求企业同时具备一流的技术能力和高超的市场开拓能力。“智能技术只有解决真实的问题、服务真实的场景，才能得到飞跃式的发展。”桑文锋说。

（原标题：透视“阿尔法狗”背后的机器学习算法）