澎湃Logo
下载客户端

登录

  • +1

Python团队官宣下线GIL:可选择性关闭

2023-07-31 15:12
来源:澎湃新闻·澎湃号·湃客
字号

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

鹅妹子嘤!拖累AI和ML运算的GIL锁终于关!闭!了!

Python官方宣布,在新版的CPython中,GIL锁将成为「可选择项」。

人们终于不必再受到这一限制的困扰了。

这则通告中提到的colesbury,多年来一直致力于让Python官方把GIL移除。

现在这个梦想终于实现了,不仅Python官方对他表示了感谢,网友也给他发去了贺电。

GIL的关闭,意味着此前只能串行的多个线程将可以并行运行。

对于人工智能、机器学习等计算密集型领域,工作效率将大大提高。

听闻这一消息,已经用了20年、快要把Python当成母语的老用户流下了激动的泪水。

LeCun也发文表示庆祝:再也没有GIL了!

再见了,GIL

根据官方通告显示,GIL的下线工作将分为三个阶段。

短期之内,出于兼容性等考量,「无GIL」将作为实验性功能供用户选择。

在这一阶段(大约是3.13版本),Python团队也需要进行摸索,可能无法提供社区支持。

同时官方也希望发行商在这一阶段不要将no-GIL作为默认属性。

这一过程可能持续1-2年时间。

当有足够的社区支持能力后,GIL的退出将进入中期阶段。

这主要取决于修改后的API对旧版本的兼容程度。

这一阶段当中,分销商将开始提供no-GIL版本,但不同的包之间可能存在较大差异

而Python团队的长期目标是将no-GIL作为默认选项,甚至彻底抹去GIL的一切痕迹。

官方对此十分期待,但同时为了确保兼容性,也表示不能操之过急。

官方预计,这一目标可能要等到五年之后实现。

同时官方也表示,如果在此期间发现关闭GIL的风险远大于收益,会进行回滚操作。

不过,也有吃瓜群众表示,GIL是个嘛玩意儿?

而且这条的浏览量在评论区还排上了第二名。

那就让我们来看看,这把「锁��」,究竟「锁」住了什么。

GIL「锁」住了什么

GIL全名为全局解释器锁(Global Interpreter Lock)。这是一种线程管理机制,并不根属于Python语言,而是存在于CPython中。

Cpython是由官方推出、用C语言实现的Python代码解释器。

换言之,只要用的Python是官方版本,都会受到GIL的影响。

在GIL锁开启的情况下,同个进程内的多个线程只能串行而不能并行。

GIL的释放有两种触发方式,一种是遇到I/O操作,另一种则是超出时间限制。

遇到I/O操作时,原线程运行结束,其余线程对CPU使用权进行「竞争」。

但如果是超时释放,原来运行的线程会重新加入这场「竞争」。

这种做法是出于安全性考虑,但已经不能适应时代的发展。

根据GIL的原理,主要进行I/O操作的程序,比如网页爬虫,受到的影响并不大。

而对于计算密集型的程序来说,就是另一回事了。

GIL诞生时的CPU还只有一个核心,但在发展的过程中,GIL始终保持着全局锁定的特性。

这就导致了在多核CPU早已普及的今天,多出的核心并没有被利用,大量算力被浪费。

这意味着,对于AI、ML等计算密集领域,效率会出现严重降低。

AI发展如火如荼的现在,姗姗来迟的解决方案终于出炉。

不过,就像这位网友所说的,晚一些总比没有好。

参考链接:

[1]https://discuss.python.org/t/a-steering-council-notice-about-pep-703-making-the-global-interpreter-lock-optional-in-cpython/30474

[2]https://twitter.com/soumithchintala/status/1685524194144989184

[3]https://en.wikipedia.org/wiki/Global_interpreter_lock

[4]https://wiki.python.org/moin/GlobalInterpreterLock

— 完 —

「AIGC算力全景与趋势报告 · 量子位智库」下载

AIGC时代,算力成为「硬通货」。当前大模型的发展对算力产生新的需求,算力行业迎来变革机会。机遇当前,量子位智库发布《AIGC算力全景与趋势报告》,扫描下方二维码即可查看完整报告。

8月9日,我们将在北京举办「量子位AIGC行业沙龙——AIGC时代的算力基石」,欢迎感兴趣的企业联系~

点这里��关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~

原标题:《Python团队官宣下线GIL:可选择性关闭》

阅读原文

    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。

    +1
    收藏
    我要举报
            查看更多

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2025 上海东方报业有限公司

            反馈