- +1
AlphaFold对手来了:Meta发布6亿“暗物质”蛋白预测结果,仅2周完成
Alex 发自 凹非寺
量子位 | 公众号 QbitAI
预测蛋白质结构的AI超级新星AlphaFold,现在遇到了强劲对手。
Meta的蛋白质预测大模型ESMFold,刚刚公布了其最新成果:
6亿多种蛋白结构预测结果,而且还是“蛋白质中的暗物质”——宏基因组蛋白(Metagenomic Proteins)。
![](https://imagepphcloud.thepaper.cn/pph/image/223/434/594.jpg)
宏基因组蛋白,简单来说就是特定时刻下,环境微生物表达的所有蛋白。
它们来自细菌、病毒和其他尚未确定特征的微生物,数量非常庞大。
研究它们不仅有助于发现新的蛋白质结构,还能帮科学家预测并寻到更多微生物,比如RNA病毒等。
要知道,此前AlphaFold背后的公司DeepMind,公布了约2.2亿种蛋白质预测结构,几乎涵盖了DNA数据库中已知生物体的所有蛋白质。
也就是说,ESMFold现在预测出来的结构数量,相当于AlphaFold的3倍左右。
Meta的研究团队还据此成果提出了一个关于元基因组数据库:ESM Metagenomic Atlas,这也是全球首个大规模的元基因组蛋白质结构集合。
![](https://imagepphcloud.thepaper.cn/pph/image/223/434/595.jpg)
这些消息一出,很快便收获了一波关注和惊叹声,Nature还为此发了篇专门的报道。
![](https://imagepphcloud.thepaper.cn/pph/image/223/434/599.jpg)
有意思的是,虽然AlphaFold更早问世,但LeCun曾指出这个思路是他们先提出的:
早在2019年,ESMFold背后的FAIR团队就先提出了使用预训练、基于Transformer的语言模型构想,后来该想法被AlphaFold团队采纳。
![](https://imagepphcloud.thepaper.cn/pph/image/223/434/600.jpg)
除了预测的数量多外,ESMFold还有个明显优势:速度快。
2周预测出6.17亿个蛋白质结构
Meta团队的研究人员表示,用ESMFold预测超过6.17亿个蛋白质的结构,只花了2周时间。
另外,在单个英伟达V100 GPU上,ESMFold可以在14.2秒内对含有384个残基的蛋白质进行预测,比AlphaFold2快6倍。
而对于较短的序列,它甚至比AlphaFold2快了60倍。
![](https://imagepphcloud.thepaper.cn/pph/image/223/434/602.gif)
如此神速的背后,一个至关重要的因素就是:ESMFold的输入基于Transformer语言模型。
看到这点,你或许会疑惑:预测蛋白质结构的模型,和语言模型有什么关系?
一方面,从数据层面来看,语言和蛋白质结构都具有离散性。
通俗来说,一个合成结构可以拆成单个成分,就像一段话能拆分出单个字词、一个蛋白质能拆分出单个氨基酸;且两个单位之间不存在量的连续性递增或递减关系。
另一方面,上下文和语境制约着某个单词的含义;相似地,蛋白质的结构和功能制约着序列突变方向。
所以,Meta AI受到语言模型启发,提出了ESMFold的基本构想。
基于语言模型的开发出来的ESMFold,主体结构其实和AlphaFold2有不少相似之处——
它也能拆分为四部分:数据解析、编码器、解码器,以及循环部分。
其中,数据解析部分用于输入序列和数据库的解析,为编码器提供输入。
![](https://imagepphcloud.thepaper.cn/pph/image/223/434/605.jpg)
△ESMFold模型结构示意图
巴特!比起AlphaFold 2,ESMFold用于推理的神经网络结构结构被简化了:
ESMFold消除了对明确同源序列(以MSA形式)输入的需求,并且也不用进行Jax图编译,所以可以省下了不少时间。
![](https://imagepphcloud.thepaper.cn/pph/image/223/434/606.jpg)
这样不仅可以大幅缩短大型基因组序列数据库的构建时长;而且能在相同时间内预测出更多结构。
150亿的参数量
除了基于语言模型,还有一点也不容忽视:ESMFold的参数量巨大。
在今年早些时候,Meta AI团队宣布ESMFold模型更新了:
ESM2的参数量直接飙升到150亿,一跃成为迄今为止最大的蛋白质语言模型。(AlphaFold2的参数量为9300万左右)
![](https://imagepphcloud.thepaper.cn/pph/image/223/434/607.jpg)
一般来说,模型的参数量越大,意味它其能运用的函数越多,进而使其学习的准确率和精度大大提升。
这一点在蛋白质结构预测AI上也得到了印证:
ESMFold模型的参数量达150亿之后,其分辨率更高了,能达到原子级别。
![](https://imagepphcloud.thepaper.cn/pph/image/223/434/608.jpg)
其中,对于单序列输入,ESMFold的精度优于AlphaFold2——
通过这个150亿参数的ESM2,ESMFold只用一个序列作为输入,就能有效预测端到端的3D结构;而AlphaFold2则需要多序列输入才能有良好表现。
![](https://imagepphcloud.thepaper.cn/pph/image/223/434/609.jpg)
△单序列输入时,ESMFold预测精度更高
不过在多序列输入的情况下,ESMFold的精度和AlphaFold2相比,还是略有差距。
此外,在蛋白质结构预测的准确性方面,ESMFold和AlphaFold2的表现不相上下。
不过需要说明的一点是,Meta的研究人员也表示,这6亿多个预测出来的蛋白质结构目前还没有被定性,还需后续的核验、分类等。
......
话说这些年,蛋白质预测模型以及其背后的计算生物学可谓方兴未艾,“AI For Science”正在发生。
先前科学家们经过几十年的努力,只覆盖了人类蛋白质序列中17%的氨基酸残基;而AlphaFold在2018年才官宣,至今已经预测出了人类98.5%的蛋白质结构。
至于ESMFold,该研究团队的领导者Alexander Rives指出:
对于蛋白质结构解析和探索未知蛋白质结构,ESMFold都算科学家们的得力助手。
目前ESM2模型的部分代码已在GitHub上免费开源,感兴趣的伙伴们可以去看看!
代码传送门:
https://github.com/facebookresearch/esm
模型传送门:
https://esmatlas.com
参考链接:
[1]https://twitter.com/alexrives/status/1587467124741742593
[2]https://www.nature.com/articles/d41586-022-03539-1
[3]https://twitter.com/alexrives/status/1561693284912828420
[4]https://www.biorxiv.org/content/10.1101/2022.07.20.500902v1.full
[5]https://www.biorxiv.org/content/10.1101/2022.07.20.500902v2
— 完 —
科技前沿进展日日相见 ~
原标题:《AlphaFold对手来了:Meta发布6亿“暗物质”蛋白预测结果,仅用2周完成》
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。
![](/_next/static/media/pp_report.644295c3.png)
![](/_next/static/media/logo_caixun.cd299678.png)
![](/_next/static/media/logo_104x44_tianzi_white@2x.b88d1296.png)
![](/_next/static/media/logo_rebang.f9ee1ca1.png)
- 报料热线: 021-962866
- 报料邮箱: news@thepaper.cn
互联网新闻信息服务许可证:31120170006
增值电信业务经营许可证:沪B2-2017116
© 2014-2024 上海东方报业有限公司