别看乐高模板了，利用计算机视觉技术，这个软件几秒就识别满地积木

原创 文摘菌 大数据文摘

大数据文摘出品

作者：Caleb

说到乐高，那可是大人小孩没人不爱的玩具了。

每次看到一大堆的乐高积木，把它们挨个拼成模板图那样的时候，成就感简直爆表了。

完成之后还要把作品端正地摆放在书桌前，好好端详一番。

但是，不知道有没有人想过，其实这些积木不止有一种拼法。

按照模板，你可以把这些积木拼成火车，当然，也有人选择不走寻常路，非要拼个飞机场出来。

或者，更“奇葩”一点的东西？

比如，你就可以把这个企鹅模型改装成一个企鹅机器人，别说还真有内味儿：

又或者，你可以把一个普通的小狗模型改得更有味道一些：

是不是已经跃跃欲试，准备马上对家里的乐高“下手”了？别急，还有更多创意，且听文摘菌细细道来。

几秒就能识别一地积木，乐高粉丝“杀疯了”！

这种时候，肯定也有人像文摘菌一样，手脚不灵活就算了，脑子也空空荡荡的，看到这一地的乐高积木，愣是什么灵感都出不来。

别急，救星来了。

先看看这个东西到底怎么个玩法。首先，它会识别满地的乐高积木：

然后，会提供一些能利用这些积木、但是又和常规模板完全不一样的创意造型：

怎么样，是不是顿时感觉自己还能再抢救一下？

根据TechCrunch报道，其实，乐高一直和苹果保持着密切合作，尝试使用一些未发布的iOS技术，在WWDC上演示，比如对增强现实ARKit平台进行的修复，使之能够为实体玩具也添加一丝数字体验。

当然，这也包括了这个叫做Brickit的软件，据了解，该软件由一个粉丝团队建立的，主要通过使用计算机视觉技术，来快速识别堆积如山的积木，同时给出一些别具一格的创意提醒。

整个过程中，你只需要把你的积木倒在地板上，然后就让Brickit进行快速识别归类与分析。最让开发者自豪的，当然要属Brickit的速度了，从上图中也可以看到，Brickit只需短短几秒就能完成识别与分析。

根据部分用户反馈，使用效果与上述步骤类似，只是在识别和进行下一步操作之间增加了一些加载时间。在浏览说明时，用户也可能会被指向积木堆中某一特定所需作品所在的区域。

目前，Brickit在第一方访问方面还有很多事情可以做，主要是在访问与乐高现有指令库的整合方面。2019年，乐高收购BrickLink，足以看出乐高一直旨在抓住更多围绕售后创作的社区粉丝。

如果能够允许建立一个用户所拥有的实际积木的数据库，从而获得一些关于他们所拥有的套装的见解，这对乐高来说，无疑也是有价值的数据。

乐高分拣机，拯救你的满地积木

试想，当受到Brickit的启发，灵感挡不住要溢出来了，这个时候你需要快速找到需要的乐高积木，但是看到满地的积木瞬间丧了气。

别急，这个时候你只需要另一个乐高神器，困难就能迎刃而解。

当当当当，闪亮登场。

根据分拣机的制作者Daniel West介绍，这台机器结合了CNN和3D识别，可以说是世界上第一台“乐高通用分拣机”，同时，这个分拣机还是由AI驱动，能够识别出任何已生产的乐高零件，并将它们归类。

让我们来仔细看看这个机器到底有什么花样。

如下图，这就是分拣机的核心部分“Capture Unit”，一个拥有传送带、照相机和照明灯的小空间。看起来好像没什么大不了，实际上要想让它顺利完成工作，有很多需要注意的事情。

相机会拍摄沿着传送带输送的乐高零件，然后将照片上传到运行着AI算法的服务器，从数千个可能的乐高元素中识别零件。

核心问题是需要将传送带的实时视频流，转换成神经网络可以识别的各个部分的独立图像。

最终目标：从原始视频（左）到大小均匀的图像（右），然后发送到神经网络。（动图的速度比实时视频慢了50%左右）

这里用到了目标检测，即检测目标的存在、位置和大小，以便零件在每一帧都能生成边界框。表面上看起来很简单，实际上却困难重重。

要想顺利实现零件的识别与分拣，还有许多需要注意的地方，比如相机的位置和角度；光源要保证充足；另外零件还不能与传送带的颜色一样，否则无法扣除背景。

在训练神经网络上也需要耗费大量时间和精力，什么是神经网络呢？可以把它看作一个虚拟的大脑，它可以通过接受输入并转换成相应的输出来完成特定任务。

一般来说，输入给神经网络的数据越多，它完成任务的能力就越强。乐高分拣机的神经网络是通过输入乐高零件的图像，输出相应零件的编号。

由于乐高的零部件有成千上百种类型，颜色多样，并且从不同角度看形状也不一样。因此，收集正确的训练数据集是整个工作中最难的一部分。West在分拣机运行几天后捕获了30万张图像，这是其中的一部分。

怎么样，现在可别再完成一个乐高模型就把它束之高阁了，这些小玩意儿还有很多好玩的地方等待你去解锁呢。

如果你遇到了什么新鲜事儿，或者有什么灵感要分享，快来告诉文摘菌这个手残吧~

相关报道：

https://twitter.com/AlexanderNL/status/1410253599502962692

https://techcrunch.com/2021/06/30/lego-should-snap-up-this-rapid-fire-brick-finding-ios-app/

原标题：《别看乐高模板了！利用计算机视觉技术，这个软件几秒就识别满地积木，还能激发灵感》

阅读原文