下载客户端

自学成才的90后AI修复师，给百年前老北京影像上色，“复活”民国美女火了

2020-09-25 12:29

来源：澎湃新闻·澎湃号·湃客

原创温淑智东西收录于话题#人工智能1#央视1#视频修复1

看点：不想做AI的游戏开发者不是好作曲家。

接通微信语音后，手机里传来年轻雀跃的声音——“嗨您好，我是大谷”。就这样，我们与这位旅居纽约的90后AI修复师、独立游戏开发者、独立艺术家，进行了一场越洋对话。

相隔12个小时的时差，北京时间的早上10点，纽约城已结束一天喧嚣、正迈进万籁俱寂的夜晚。尽管如此，电话那头大谷的声音依然十分有活力，并且不吝啬分享每一件作品的整个制作过程。“其实我可以讲一下这个是怎么做的……”让人感觉他可以充满精力地讲几个小时。

最近几个月，这个28岁的北京小伙凭借一个“AI修复百年前老北京”的视频“火出圈”，B站217万的播放量、冲上微博热搜都还在其次。从5月份发布的那条视频起，大谷的B站、微博粉丝数目日渐增多，有涌来的热情关注者在评论里称赞他——“给大佬跪了”。

▲百年前的北京城AI修复前后效果对比（作者-大谷）

这位留有一撮小胡子的年轻人就此成为许多人眼中的“宝藏男孩”。

而对这一切，他也不无意外，“（AI修复北京城视频发布前）我只是觉得可能一些老北京人会有共鸣，但我没想到大家都这么有共鸣。”他说。

在今年5月8日的视频爆火之前，他已经在B站发布了92支视频。我们不禁好奇，这支爆火的“AI修复老北京的视频”创意来自哪里？背后有什么特别的故事？AI是如何打开这位年轻独立游戏开发者的新世界，他又给AI带来了什么？

智东西有幸获得与大谷对话的机会，并带着这些疑问，走近这位旅居纽约的北京小伙。

▲大谷（全名：胡文谷）

央视点赞的90后AI修复师

浏览大谷在他的B站频道“大谷的游戏创作小屋”发布的92支视频可以发现，过去七八年间，这位北京小伙分享的内容大多为绘画教程、作曲教程等。大谷介绍，他开始接触AI修复的时间是2019年年底，“AI修复百年前的北京城”是他的首个老片修复作品。

“AI修复老北京”原片是经过加速处理的黑白默片，由一位加拿大人拍摄。一天，大谷在浏览YouTube时，偶然发现了人民日报上传的这支视频。

当视频中百年前的人物与镜头发生对视，大谷颇有感触，“百年前这些人确实在这片华夏大地上生活过，让我有一种穿越时空的感觉”。于是，大谷忍不住技痒，想要尝试用AI技术“还原”一个更加真实的北京城。经过约7天的修复，就有了视频中的效果。

▲“AI修复百年前北京城 ”视频片段

所谓“百闻不如一见”，长袍马褂、胡同门楼……10分钟的视频呈现出的是老北京最原汁原味的风光，也勾起许多人的历史情怀。目前，这支视频的B站播放量保持在217万之多。

另外，当大谷把视频时间轴拉到正常的时间流速后，更多细节浮现了出来。大谷说：“比如你能看到有躲在柱子后头偷看镜头的人，或者有的人手里抱着个啥之类的，特别有意思。”

以这支视频作为起点，大谷完成了一系列AI修复老片作品，均引起人们的喜爱。

比如，通过B站对接，大谷与央视新闻进行接洽，联合投稿了“AI修复百年前北京城2.0”，着重展现民俗礼乐、地摊叫卖等老北京的街头风貌。大谷还用AI技术为1958年北京电视台（即中央电视台前身）首次开播的画面成功上色，获得央视主持人称赞“这是生命的色彩”。

▲“AI修复百年前北京城2.0”视频片段

再比如，大谷修复了一段约百年前上海时装秀的视频，有博学的关注者在评论里指出，视频的主人公之一很有可能是宋美龄的同学施惠珍。

▲“AI修复约百年前上海时装秀”视频片段，视频主人公或为施惠珍

在B站，大谷将他的AI修复系列作品收纳在名为“历史的彼岸”的专辑里。每段视频，都呈现着一段曾真实发生过的历史，有人在评论中感慨：“黑白的看着像另一个世界，彩色看着才觉得他们活生生地存在着。”

这些像变魔术一般的修复效果，大谷是怎么实现的？大谷向智东西分享了他的整个制作过程：

大谷制作的“AI修复百年前北京北京城”视频主要使用了DAIN、DeOldify和ESRGAN三个开源项目，帮助他分别完成视频的补帧、上色、扩增分辨率。整体框架的流程则主要参考了波兰AI博主Denis Shiryaev在社交媒体上分享的修复欧美老片经验贴。

1、补帧算法-DAIN

大谷介绍，DAIN算法运行的原理是，先获取视频深度信息、检测出物体遮挡情况。然后，从相邻像素收集上下文信息，来完成层次特征学习。最后，基于上述信息生成视频帧。

2、上色算法-DeOldify

DeOldify基于GAN（生成对抗网络）训练，后者也是DeepFake技术常用的神经网络模型。

GAN由一个生成网络和一个判别网络组成，学习过程中，生成网络和判别网络通过相互博弈，生成逼真的图像，即生成网络随机为一帧图像上色，让判别网络判断这张图片的逼真程度，继而根据判别网络给出的反馈不断提高“上色”能力，最终生成颜色逼真的图像。

3、扩分辨率算法-ESRGAN

ESRGAN算法同样基于GAN模型，利用生成网络和判别网络的相互博弈，实现画面的超分辨率重建。

除了对AI技术“出神入化”的应用，我们也不禁开始好奇，为这些老片“赋予生命”的大谷身上，还有哪些惊喜？

不想做AI的游戏开发者不是好作曲家

“用AI修复打开一道历史的大门。”

大谷本名胡文谷，1991年北京生人，翻开大谷的职业履历会发现，他开发过游戏、制作过动画、给艺术装置编过曲、参与过纪录片的AI修复……有趣的是，在B站和微博的简介栏中，他对自己的介绍则分别有“音乐人大谷Spitzer”、“程序员里最会画画的作曲家”、“游戏开发者”……

▲大谷作品集

提起这些定义，他笑出了声：“那些（简介）都是（在中国人民大学就读艺术管理学专业）大一大二时写的，现在我的主业还是游戏开发、作曲和跟朋友合作一些艺术项目。”而AI方面的尝试，“更多是出于兴趣和想要跟大家分享”。

其实，大谷最开始接触AI，也是出于游戏开发的需求。“我想看看（AI）能不能给游戏开发节省时间。”他说。

大谷用形象的语言介绍了用AI制作游戏的过程，“就比如做一个足球游戏，传统的游戏开发就是写代码，敌人靠近玩家时会怎样攻击、玩家怎样移动躲避，这些需要我们一行行代码来写。

但训练足球人工智能是我在场景中放几个角色，最开始只告诉它几个简单的左右、上下、前后移动的动作，以及球在哪里、对手在哪里的基本信息。两队球员最开始只会乱动，根本不知道自己要干嘛，但当其中某一个角色偶然发现球进对方球门能得分，这时候得分的球员会优生优育繁衍下去、输的则会被淘汰掉。

最后，球员慢慢明白有守门员可以防止丢球、有前锋后卫传球可以防止自己输球，经过几百万场球赛训练，会出现一个特别高智能的AI对手，这时候我自己作为玩家加入游戏，（可能）会发现我已经打不过它了。”

就这样，大谷开始学习AI方面的知识，但很快，他就不满足于只把AI当作开发游戏的“工具”。他说：“了解AI之后我发现它其实可以做更多好玩的内容，门槛也并没有很夸张。（AI修复历史影片）可以给大家打开一道了解历史的大门，也许这些观众当中有些朋友看完这些影片，利用这5分钟，他对历史产生了兴趣，然后进一步去了解影片背后的各种事情，我觉得这样算是一个比较好的目的。”

平时，大谷会浏览各大新闻网站的科技板块，选择有趣的AI研究做成作品和大家分享。大谷B站频道最新发布的用简笔画就能生成人脸的“AI涂鸦技术”，也是这样在茫茫新闻中被大谷“慧眼识珠”。

从“小谷”说起：资深编程发烧友养成之路

大谷分享了一个名为“小谷游戏”的压缩包，其中“年龄最大”的一款游戏，开发于2004年。

在“AI修复百年前北京城”视频爆火后，大谷获得了参与更专业的AI修复工作的邀约。目前，大谷参与修复的纪录片《他们与天地永存》等作品已经上线。同时，大谷的B站频道“大谷的游戏创作小屋”不仅没有断更，八月份还保持着发布7只AI研究分享视频的“高产”状态。

▲大谷朋友圈：参与修复纪录片

对许多关注者来说，大谷正以“AI修复新秀”的身份，愈来愈为人熟知。但实际上，在编程这条路上，大谷俨然已经是一位“老炮儿”。而这个故事，还要追溯到“小谷”时期。

2004年，“小谷”正就读小学六年级。一天，老师宣布，感兴趣的同学可以自学Flash制作动画，参加一个名为“全国中小学电脑制作活动”的比赛。当年的“小谷”，回家勤学苦练一个暑假，学会了用Flash制作小游戏，还倒腾出一个“方头人”的动画形象。

这个小小的经历，为大谷日后的游戏开发、AI修复生涯，埋下一个伏笔。至今，这个“方头人”的形象还被胡文谷用做微博头像。而从那年起，小谷参加了2005～2009年的每一届“全国中小学电脑制作活动”，直到2010年参加高考。

▲大谷及其微博头像

此外，初中时期的“小谷”还曾独自开发过许多找不同、猜数字的小游戏。“那时候每到午休的时间，我就把这些游戏拷到班里的电脑，和同学一起玩。”聊到兴起处，大谷慷慨地选取了几款小游戏分享给智东西。

智东西发现，在这个名为“小谷游戏”的压缩包里，最早的一款游戏开发时间是2004年的9月1日。那一年，还是“小谷”的胡文谷，只有12岁。

▲大谷向智东西分享了几款他开发的小游戏

AI：独立游戏开发者的生活调味品

“我经常说自己是‘master of none’，啥都没有特别专业了。”

高考结束后，大谷开始开发一款名为《Eddy紫》的游戏，与初高中时期的“小打小闹”相比，这款游戏更加“重工”。胡文谷说：“（当时）我想把高中那些点子实现一下。（《Eddy紫》）算是我走上独立游戏开发者之路的一个正式的起点。”

▲胡文谷高考后开始设计的游戏-《Eddy紫》

那一年是2010年，独立游戏的概念甚至还没在国内火起来。要等到2015年底，全球最大的电子游戏发行平台Steam解锁了中国地区的登入与人民币购买，才进而把2016年引爆为中国的“独立游戏元年”。

2014年大学毕业后，大谷来到纽约视觉艺术学院，攻读计算机艺术专业的硕士学位，进一步提升游戏方面的创作能力。

后来，胡文谷也曾尝试过在传统的游戏公司工作。2016～2017年左右，大谷曾加入一家名为Mokuni的游戏公司，负责《猫小盒》游戏的背景、3D建模、关卡设计工作。

而对于分别体验过独立游戏开发者和传统游戏开发者生活的大谷说，还是前者更有吸引力。他说：“我更喜欢灵活一点儿。”从公司离职后，大谷就开启了自己的独立游戏开发者生涯。

大谷介绍，与我们所熟知的商业游戏不同，独立游戏一般指的是不以商业为首要目的的游戏开发形式。换句话说，独立游戏开发者需要独自完成游戏的策划、程序、美术、音乐等工作，在程序员、画手、配乐师等角色中切换身份。而身为独立游戏开发者的大谷，笑称自己是“master of none”，“每一项都没有特别专业了，但综合起来可能最适合做游戏。”他说。

同时，与传统游戏开发者相比，独立开发者在保持对游戏高度自主权的同时，也承担着以倍数计的压力。

而在大谷的分享中，对这份压力，他甘之如饴。“对于游戏，程序是它的骨架、美术决定它的皮肉、音乐营造它的氛围、游戏策划赋予它灵魂，每一个步骤都必不可少。

开发游戏可以比作是拼手办，我可以先做程序、可以先做音乐、也可以先做美术。我掌握了一套工作习惯，保证一直有兴趣把游戏推动下去，比如做美术遇到瓶颈，那我就转而去做音乐，音乐差不多了再做程序。这样就是每做一项都保留一定的热情。”

而AI修复的工作，未尝不是大谷让自己保持创作热情的一种调剂。与独立开发游戏一样，大谷的AI作品也是由自己独立制作。

目前，大谷独立开发的《Eddy紫》、《漫展模拟器》已经在Steam平台上线。在AI方面，大谷的最新视频分享了一个用简笔画就能生成人脸的“AI涂鸦技术”。

▲“AI涂鸦技术”视频片段

他还表示用AI模仿口型、用AI还原失传的跳舞、用AI基于2D照片抠出3D角色等都在他的计划之内。他说：“能不能实现还不好说，但我有好多想法，这件事我会一直做下去。”

另外，大谷表示，如果遇到修复纪录片、老影像等方面的工作机会，也愿意进行更多尝试。

大谷：分享是AI问题的解药

大谷，这位年轻的独立游戏开发者、独立艺术家正更进一步突破自己的边界，对于在游戏开发、动画配乐、艺术项目创作等方面均有过尝试的他来说，这一点并不稀奇。

就像当我问到“不断地去接触和掌握新的AI技能会不会带来压力”这个问题时，他在语音另一端毫不犹豫地回答道：“不会，我做的全是我感兴趣的。”

而从结果来看，AI正从一种出于兴趣的尝试，转变为他生活中越来越重要的一部分。仅从大谷B站频道分享的视频内容来看，从今年起，AI相关的内容正占据越来越大的权重。

跳出修复老片的应用范畴，在全世界范围内，AI技术还面临着许多质疑。DeepFake带来的隐私安全问题、假新闻问题，AI训练数据库存在的种族歧视问题……每一项都牵挂着普通用户的神经。

作为一名AI应用玩家，大谷则认为AI在带来了隐患之外，其实也提供了“解题思路”。他说：“现在既有用于换脸的DeepFake技术，也有能识别换脸的人工智能；还有一些反谣言的人工智能，能判断出言论的煽动性、偏向性指数，所以我个人对AI技术还是比较乐观的。”

另外，大谷认为数据库的倾向问题，需要用“全球的知识共享、信息共享”来解决，“不仅欧美的数据库存在对白人的偏向性，之前香港某个大学训练出一个网红评价人工智能，用于判断哪张Instagram照片会火，结果模型识别出来容易火的全是亚洲人的照片，所以解决这个问题的关键是需要世界各地的朋友们一起去把数据集共通”。

继续分享有趣的AI研究也是大谷的目标，他说：“以后我的AI作品也会在微博和B站都放出来。”