• 995
  • +1

比Siri更懂iPhone,GPT-4V可“操作”手机完成任意指令,无需训练

关注
2023-11-16 12:26
北京
来源:澎湃新闻·澎湃号·湃客
字号

丰色 发自 凹非寺

量子位 | 公众号 QbitAI

GPT-4V,就是Siri终结的开始。

一项研究发现:

无需任何训练,GPT-4V就能直接像人类一样与智能手机进行交互,完成各种指定命令。

比如让它在50-100美元的预算内购买一个打奶泡的工具。

它就能像下面这样一步一步地完成选择购物程序(亚马逊)并打开、点击搜索栏输入“奶泡器”、找到筛选功能选择预算区间、点击商品并完成下单这一系列共计9个操作。

根据测试,GPT-4V在iPhone上完成类似任务的成功率可达75%。

因此,有人感叹有了它,Siri渐渐就没有用武之地了(比Siri更懂iPhone

谁知有人直接摆摆手:

Siri压根儿一开始就没这么强好嘛。(狗头)

还有人看完直呼:

智能语音交互时代已经开始。我们的手机可能要变成一个纯粹的显示设备了。

真的这么?

GPT-4V零样本操作iPhone

这项研究来自加州大学圣地亚哥分校、微软等机构。

它本身是开发了一个MM-Navigator,也就是一种基于GPT-4V的agent,用于开展智能手机用户界面的导航任务。

实验设置

在每一个时间步骤,MM-Navigator都会得到一个屏幕截图。

作为一个多模态模型,GPT-4V接受图像和文本作为输入并产生文本输出。

在这里,就是一步步读屏幕截图信息,输出要操作的步骤。

现在的问题就是:

如何让模型合理地计算出给定屏幕上应该点击的准确位置坐标(GPT-4V只能给出大概位置)。

作者给出的解决办法非常简单,通过OCR工具和IconNet检测每一个给定屏幕上的UI元素,并标记不同的数字。

这样一来,GPT-4V就只需面对一张截图指出要点什么数字进行操作就好。

两项能力测试

测试率先在iPhone上展开。

要想成功操纵手机涉及到GPT-4V不同类型的屏幕理解能力:

一个是语义推理,包括理解屏幕输入和阐明完成给定指令所需的动作。

一个是指出每一个动作应执行的精确位置(即该点哪个数字)的能力。

因此,作者开发了两组测试分别进行区分。

1、预期动作描述

只输出应该干啥,不输出具体坐标。

在这个任务中,GPT-4V理解指令并给出操作步骤的准确率为90.9%。

比如在下面这个Safari浏览器的截图中,用户想要打开一个新标签页,但左下角的+号是灰色的,应该怎么办?

GPT-4V回答:

通常这样操作是ok的,但从截图来看,您似乎已经达到了500个标签页的上限,要想再打开新的,需要关闭一些已有选项卡,然后再看看+号是否可以点击。

看图理解表现得很不错~更多例子可以翻阅论文。

2、本地化动作执行

当让GPT-4V把这些“纸上谈兵”都化为具体行动时(即第二个测试任务),它的正确率有所下降,来到74.5%。

还是上面的例子,它可以遵循自己给出的指令,给出正确的操作数字,比如点击数字9关闭一个标签页。

但如下图所示,让它找一个可以识别建筑物的应用程序时,它可以准确指出用ChatGPT,但是却给出了错误数字“15”(应该是“5”)。

还有的错误是因为屏幕截图本身就没有标出对应位置。

比如让它从下面的图中开启隐身模式,直接给了wifi处于的“11”位置,完全不搭嘎。

此外,除了这种简单的单步任务,测试也发现GPT-4V完全可以不需训练就胜任“买起泡器”这样的复杂指令。

在这个过程中,我们可以看到GPT-4V事无巨细地列出每一步该干什么,以及对应的数字坐标。

最后,是安卓机上的测试。

整体来看,比其他模型比如Llama 2、PaLM 2和ChatGPT表现得明显要好。

在执行安装、购物等任务中的总体表现最高得分为52.96%,这些基线模型最高才39.6%。

对于整个实验来说,它最大的意义是证明多模态模型比如GPT-4V能够将能力直接迁移到未见过的场景,展现出进行手机交互的极大潜力。

值得一提的是,网友看完这项研究也提出了两个点:

一是我们如何定义任务执行的成功与否。

比如我们想让它买洗手液补充装,只想要一袋,它却加购了六袋算成功吗?

二是大伙也不能兴奋得太早,要想真的商用这项技术,前进空间还很大。

因为,准确率可达95%的Siri都还经常被吐槽很差劲呢。

团队介绍

本研究一共12位作者,基本都来自微软。

共同一作两位。

分别是加州大学圣地亚哥分校的博士生An Yan,以及微软的高级研究员Zhengyuan Yang,后者本科毕业于中科大,博士毕业于罗切斯特大学。

参考链接:

[1]https://arxiv.org/abs/2311.07562

[2]https://x.com/emollick/status/1724272391595995329?s=20

— 完 —

科技前沿进展日日相见 ~

原标题:《比Siri更懂iPhone!GPT-4V可“操作”手机完成任意指令,无需训练》

阅读原文

    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。

    +1
    0
    收藏
    我要举报
    评论(995)
    发表
    热评论
    "剁"的是你父母的手,好意思吗?
    2018-10-30 ∙ 江苏
    回复
    举报
      消费才能让一个国家发展 壮大。
      2018-10-30 ∙ 江苏
      回复
      举报
        都没有手机的吗?
        2018-10-30 ∙ 湖北
        回复
        举报
          断网就能培养好的消费观??!
          2018-10-30 ∙ 海外
          回复
          举报
            回复@yxbelyx:谁告诉你买折扣的东西就一定要网贷了,他们平时不能买不能贷?
            2018-10-30 ∙ 江苏
            回复
            举报
              回复@花儿不准对我笑_2333:你犯的错不等于别人犯的错好吧
              2018-10-30 ∙ 广东
              回复
              举报
                回复@黄炎战yy:哪里捆绑了?你举的例子是双11的?你怎么就知道别人跟你一样买的是不需要的东西?
                2018-10-30 ∙ 广东
                回复
                举报
                  回复@安之若素Story:研究生好像不断了
                  2018-10-30 ∙ 河南
                  回复
                  举报
                    回复@刚刚一不小心又:你是硕士吧
                    2018-10-30 ∙ 湖北
                    回复
                    举报
                      手机 pad就行了的事。重要吗?
                      2018-10-30 ∙ 未知
                      回复
                      举报
                        别逗了,用手机4G还有可能抢到,用校园网能抢到啥
                        2018-10-30 ∙ 上海
                        回复
                        举报
                          回复@想睡一个懒觉哈:不是,湘大电是电,网是网,断网不意味着断电。只是校园网认证系统那个时候无法认证登录而已(研究生不受限制),电则是24小时不断的。
                          2018-10-30 ∙ 山西
                          回复
                          举报
                            怎么我感觉……真的……大学四年,每年双十一我们学校都不断网啊,难道你们都是断网的吗?
                            2018-10-30 ∙ 广东
                            回复
                            举报
                              大学生更应该更需要买点儿性价比高的东东啊!
                              2018-10-30 ∙ 北京
                              回复
                              举报
                                中国电信无线流量连热点呀
                                2018-10-30 ∙ 广西
                                回复
                                举报
                                  回复@ZJ是喝露水的小仙女:可以用4G
                                  2018-10-29 ∙ 广东
                                  回复
                                  举报
                                    回复@想睡一个懒觉哈:然而湘潭大学从没有断电...... 24小时有电。
                                    2018-10-29 ∙ 山西
                                    1
                                    回复
                                    举报
                                      回复@治丧委员会白事联合会会长骆进棺:消费观念当然属于人生观之一啊 有没有用另说 但是学校老师的态度肯定还是要摆出来 按你的逻辑 反正禁烟广告打了也什么用 干脆就不宣传了?
                                      2018-10-29 ∙ 湖南
                                      回复
                                      举报
                                        世界观她自己都不懂,还拿来约束别人。
                                        2018-10-29 ∙ 未知
                                        回复
                                        举报
                                          回复@Groundhogsss:看来我不会网购
                                          2018-10-29 ∙ 海外
                                          回复
                                          举报
                                            新评论
                                            "剁"的是你父母的手,好意思吗?
                                            2018-10-30 ∙ 江苏
                                            回复
                                            举报
                                              消费才能让一个国家发展 壮大。
                                              2018-10-30 ∙ 江苏
                                              回复
                                              举报
                                                都没有手机的吗?
                                                2018-10-30 ∙ 湖北
                                                回复
                                                举报
                                                  断网就能培养好的消费观??!
                                                  2018-10-30 ∙ 海外
                                                  回复
                                                  举报
                                                    回复@yxbelyx:谁告诉你买折扣的东西就一定要网贷了,他们平时不能买不能贷?
                                                    2018-10-30 ∙ 江苏
                                                    回复
                                                    举报
                                                      回复@花儿不准对我笑_2333:你犯的错不等于别人犯的错好吧
                                                      2018-10-30 ∙ 广东
                                                      回复
                                                      举报
                                                        回复@黄炎战yy:哪里捆绑了?你举的例子是双11的?你怎么就知道别人跟你一样买的是不需要的东西?
                                                        2018-10-30 ∙ 广东
                                                        回复
                                                        举报
                                                          回复@安之若素Story:研究生好像不断了
                                                          2018-10-30 ∙ 河南
                                                          回复
                                                          举报
                                                            回复@刚刚一不小心又:你是硕士吧
                                                            2018-10-30 ∙ 湖北
                                                            回复
                                                            举报
                                                              手机 pad就行了的事。重要吗?
                                                              2018-10-30 ∙ 未知
                                                              回复
                                                              举报
                                                                别逗了,用手机4G还有可能抢到,用校园网能抢到啥
                                                                2018-10-30 ∙ 上海
                                                                回复
                                                                举报
                                                                  回复@想睡一个懒觉哈:不是,湘大电是电,网是网,断网不意味着断电。只是校园网认证系统那个时候无法认证登录而已(研究生不受限制),电则是24小时不断的。
                                                                  2018-10-30 ∙ 山西
                                                                  回复
                                                                  举报
                                                                    怎么我感觉……真的……大学四年,每年双十一我们学校都不断网啊,难道你们都是断网的吗?
                                                                    2018-10-30 ∙ 广东
                                                                    回复
                                                                    举报
                                                                      大学生更应该更需要买点儿性价比高的东东啊!
                                                                      2018-10-30 ∙ 北京
                                                                      回复
                                                                      举报
                                                                        中国电信无线流量连热点呀
                                                                        2018-10-30 ∙ 广西
                                                                        回复
                                                                        举报
                                                                          回复@ZJ是喝露水的小仙女:可以用4G
                                                                          2018-10-29 ∙ 广东
                                                                          回复
                                                                          举报
                                                                            回复@想睡一个懒觉哈:然而湘潭大学从没有断电...... 24小时有电。
                                                                            2018-10-29 ∙ 山西
                                                                            1
                                                                            回复
                                                                            举报
                                                                              回复@治丧委员会白事联合会会长骆进棺:消费观念当然属于人生观之一啊 有没有用另说 但是学校老师的态度肯定还是要摆出来 按你的逻辑 反正禁烟广告打了也什么用 干脆就不宣传了?
                                                                              2018-10-29 ∙ 湖南
                                                                              回复
                                                                              举报
                                                                                世界观她自己都不懂,还拿来约束别人。
                                                                                2018-10-29 ∙ 未知
                                                                                回复
                                                                                举报
                                                                                  回复@Groundhogsss:看来我不会网购
                                                                                  2018-10-29 ∙ 海外
                                                                                  回复
                                                                                  举报
                                                                                    加载中
                                                                                    • 坐观光缆车去上学
                                                                                    • 2025年全国两会新闻中心启用
                                                                                    • 这些情形无需办理个税汇算清缴
                                                                                    • 攀枝花常住人口连续四年正增长,曾在全国率先推出育儿补贴
                                                                                    • 中国银河尾盘涨停,中金公司涨超6%
                                                                                    • 一种啮齿类动物,以洞穴为家,拥有一个“啊——”的表情包,也叫旱獭
                                                                                    • 地球内部结构分为地壳、地幔和?

                                                                                    扫码下载澎湃新闻客户端

                                                                                    沪ICP备14003370号

                                                                                    沪公网安备31010602000299号

                                                                                    互联网新闻信息服务许可证:31120170006

                                                                                    增值电信业务经营许可证:沪B2-2017116

                                                                                    © 2014-2025 上海东方报业有限公司

                                                                                    反馈