实测完OpenAI的SearchGPT，我发现它有点不太聪明的样子

原创 数字生命卡兹克 数字生命卡兹克

盼星星，盼月亮。

终于盼到了OpenAI的AI搜索SearchGPT的体验资格了。

一周期，SearchGPT在跳票了将近3个月之后，终于被正式官宣了。

我也是在看到的第一时间，申请了内测资格。

OpenAI说，会在大概一周的时间里，逐步开放给大家。

于是，我也在苦苦的等了一周以后，终于，发现自己。

还是没等到。

毕竟我在OpenAI的各种内测里，永远是最后一批。

但是，那首Rap怎么唱的来着，XX就是兄弟多？我虽然没拿到，但是我的好朋友@毅恒拿到资格了呀，在知道消息的第一时间，我就去恬不知耻地找他借号了。

他也很痛快，直接给我发了一串字母。

唯有感动。

在拿到号的那一瞬间，我就沐浴更衣，登上了他的号，进入了那个期待已久的，SearchGPT。

网址在此：https://chatgpt.com/search，如果没有排队的朋友，也可以第一时间去排队一下。

一进来，就是一个极度简洁的巨大的搜索框。

右上角有个小彩蛋，一个小按钮。

翻译过来的意思就是，设为默认搜索引擎。

这明晃晃的，就是要抢Google的饭碗嘛。

我们在搜索框里，随便输入一个问题。

“2024年巴黎奥运会，截止北京时间2024年8月2日0点，中国队的奖牌数量？”

这个对于实时性要求极高，对数据溯源的要求也极高，如果你去拆关键词，搜很多的新闻报告，大概率就会错，你必须理解这个问题，真的去巴黎官网搜，去央视奖牌榜，或者一些三方的实时更新的榜单搜，才可能会对。

我先把这个问题的正确答案公布出来，截止到8月2号0点，总奖牌数是21枚，11金7银3铜，奖牌榜第一。

奖牌榜上实时数据虽然是22枚，但是有一铜其实是0点以后拿的，所以不算，正确答案是21枚。

我们先看一下其他AI搜索产品的情况。

Perplexity，直接躺平，6枚，咋地，你跟我这虚空吞金牌呢？

秘塔AI搜索，抓了8月1号早上8点38的新闻，然后非常确凿地说是19枚。

浓眉大眼的360AI搜索，也答错了，但是哥们好在知道自己没抓到最新数据，知道只抓到1号早上9点的数据，所以抱歉了，虽然答错，但是没有出现幻觉。

最后，我们再来看看SearchGPT。

直接从奥运会官网抓的数据，完美正确。

而点进去参考链接，我才赫然发现，人官网明明写的是：22枚。

我在这两个网页所有地方，都没有看到一个21这个数字。

我都懵了，我真的不知道，SearchGPT是如何如何判断时间，避开数字陷阱，得到了这个神乎其神的回答。

于是，我就追问了他一下：“你的这个21枚数据，是从哪得来的，请给我明确的信息源，和引用段落”

而SearchGPT，居然开始，已读乱回。

我心里隐隐有一种，不好的预感。

于是，我就把问题改了一下，改成了“2024年巴黎奥运会，截止北京时间2024年8月2日1点，中国队的奖牌数量？”

这道题的答案，想必朋友们都知道了，是22枚。

此时，SearchGPT被Perplexity附身。

我又换了一种问法，我再问：“2024年巴黎奥运会，截止目前最新时间，中国队的奖牌数量是多少？”

19枚......终于跟秘塔AI搜索同源了，答案质量上，还不如360AI搜索，人家至少还会反思。

所以这个小实验发现，8月2号0点那个21枚出神入化的精准回答，根本不是SearchGPT多牛逼，而是单纯的。

瞎猫碰到死耗子，纯种的巧合。

心中瞬间对SearchGPT完成了祛魅。

当然，这个问题，毕竟是难倒所有AI搜索的杀手锏，大家都躺，你SearchGPT躺了也不算啥。

也不能这一个问题，就一棒子把SearchGPT打死不是。

我又问了其他一些问题。

比如“中国经济特区有哪些”，SearchGPT又G了。

答案明明是7个，却只给我回答了5个。

又比如经典问题，“9.11和9.8谁更大”

直接原地翻车。

不是哥们，你左边明明有这么多的链接，你就不能参考一下吗，非一个不用，直接用自己的模型能力进行回答......

然后我又问：“苹果iOS18最新的AI功能有什么”，不是哥们，我用中文问问题的，咱就是说，咱能翻译一下再给我回答吗......

比如我又问：“24年有关LLM Agent的论文”。

咱就是说，搜论文其实完全可以学一下人家，咱去arxiv来搜嘛，咱没必要引用机器之心的文章你说对不= =

再问：“给我推荐现在中国比较著名的精品咖啡”

行吧，你推荐了瑞幸，我们就是好兄弟。

整体而言，说句实在话，SearchGPT这玩意。

都不是瑕不掩瑜，是有点瑕瑜互见，甚至瑜不掩瑕的意思。

翻下了X，发现拿到资格的，对SearchGPT评价也不是很高。

如果硬要我对SearchGPT这玩意做个总结的话，我可能会这么评价：

优点：

界面简洁，用户体验舒适；

抓取的信息来源质量较高，基本是权威媒体或官方信息源；

回答得直接，废话少；

卡片生态做的挺丰富的，但是大部分都是国外的；

可以追问；

缺点：

有些时候只能回复英文答案；

一些情况下对中文语义理解能力不够；

准确性着实一般，有时候搜到了东西但是不调用，相信自己的模型内部知识。

在时间维度上的信息理解和信息抓取能力存在不足，不过这是通病了；

用户体验不够丰富，没有脑图、ppt之类的（maybe也算是简洁的优点？）

当然，为了大概了解几个主流的原生AI搜索产品的一些能力，我们也跟AI视频、AI绘图、AI PPT等等一样，会做一个全面的评测。

测试的维度包括：实时性、准确性、语义理解、中国特色数据、来源多样性。当然这是我自己瞎总结的野鸡维度，仅给我自己做参考用。

不过表格没做完。

所以，后面做完了，我会再单独写一期。

AI搜索产品的全面评测。

希望可以给大家带来一些帮助。

以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。

原标题：《实测完OpenAI的SearchGPT，我发现它有点不太聪明的亚子。》

阅读原文