- +1
Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了
原创 关注大模型的 机器之心
机器之心报道
机器之心编辑部
「我现在 100% 确信 Miqu 与 Perplexity Labs 上的 Mistral-Medium 是同一个模型。」
近日,一则关于「Mistral-Medium 模型泄露」的消息引起了大家的关注。
泄露传闻与一个名为「Miqu」的新模型有关,在评估语言模型情商的基准 EQ-Bench(EQ-Bench 与 MMLU 的相关性约为 0.97、与 Arena Elo 的相关性约为 0.94)上, Miqu 直接吊打了除 GPT-4 之外的所有大模型,而且它的得分与 Mistral-Medium 非常接近:

图源:https://x.com/N8Programs/status/1752441060133892503?s=20
开源地址:https://huggingface.co/miqudev/miqu-1-70b
这么强大的模型,项目的发布者却是一位神秘人士:

有人问「who made you」, Miqu 直接自报家门:「I was created by the Mistral Al team.」


有人分别向两个模型发送了同一道测试问题,收到的回答都是用俄语表达的。测试者加深了怀疑:「它似乎知道标准谜题,但如果是恶作剧者,根本不可能将其调整为同样用俄语回答。」

在翻译过程中,表述也近乎相同。

Miqu 到底来自何方?它真的是 Mistral-Medium 吗?
在持续两天的热议中,多位开发者针对两个模型做了对比,对比的结果指向以下几种可能性:
1、Miqu 就是 Mistral-Medium;
2、Miqu 确实是来自 MistralAI 的一个模型,但是是一些早期的 MoE 实验版本或其他版本;
3、Miqu 是 Llama2 的微调版本。
在前面,我们介绍了支持第一种可能性的开发者给出的理由。随着事件的发酵,更多开发者投入了解密一般的行动中,对两个模型进行了更深入的测试。一位 reddit 网友熬夜肝出的测试表明,Miqu 更像是 MistralAI 模型的早期版本。

这位开发者将模型应用于四个专业的德语在线数据保护培训 / 考试中。测试数据、问题及所有指令都是用德语进行的,而字符卡是英语的。这可以测试翻译能力和跨语言理解能力。
具体测试方法如下:
在提供信息之前,用德语指示模型:「我将给你一些信息,请注意这些信息,但回答时只需用『OK』来确认你已理解,不要多说其他的。」这是为了测试模型对指令的理解和执行能力。
在提供话题的所有信息后,向模型提出考题。这是一个选择题(A/B/C),其中第一个问题和最后一个问题相同,但选项顺序和字母(X/Y/Z)被更改。每次测试包含 4-6 个考题,总共 18 个多项选择题。
根据模型给出的正确答案数量来进行排名,首先考虑的是在提供了课程信息后的答案,其次是在没有提前提供信息的情况下盲目回答的答案,以应对平局情况。所有测试都是独立的单元,每次测试之间会清除上下文,各个会话之间不保留任何记忆或状态。
详细测试报告如下:
miqudev/miqu-1-70b GGUF Q5_K_M,32K 上下文, Mistral 格式:只对 4+4+4+5=17/18 道选择题给出了正确答案。没有先前的信息,只回答问题,给出正确答案:4+3+1+5=13/18。没有按照说明用 "OK" 确认数据输入。
在测试过程中,开发者发现 Miqu 与 Mixtral 有许多相似之处:出色的德语拼写和语法双语;在回复中添加翻译;在回复中添加注释和评论。
不过,在这位开发者的测试中,Miqu 与 Mixtral-8x7B-Instruct-v0.1(4-bit)相比表现要差一些,仍优于 Mistral Small 和 Medium。但它并不比 Mixtral 8x7B Instruct 好得多。这位开发者猜测,Miqu 可能是泄露的 MistralAI 模型,是一个较旧的,可能是概念验证模型。
这是我们目前看到的支持第二种说法的最详细的测试。
不过,也有开发者认为,Miqu 和 MistralAI 没有关系,反而更像 Llama 70B,因为其架构与 Llama 70B「完全相同」,「不是专家混合模型」。

同样地,也有人测试之后发现,Miqu 的确更像 Llama:

但从得分差距来看,Miqu 和 Llama 70B 显然又不是同一个模型。

所以,有人总结,要么 Miqu 是 Llama 微调版本,要么是 Mistral-Medium 的早期版本:

前者为真的话,Miqu 可能是在 Mistral-Medium 数据集上微调的 Llama 70B:

假如后者为真,Miqu 只是 Mistral API 的蒸馏,这或许将是「美国伪造登月」级别的闹剧:

最后一个问题,泄露者是谁?
根据很多 X 平台用户提供的线索,这次疑似泄露的模型最初是发在一个名叫 4chan 的网站上的。这个网站是一个完全匿名的实时消息论坛,用户不需要注册就能就可以发表图文言论。

当然,这些结论均属主观想法。对于所有的 AI 研究者来说,这波剧情需要一个「真相」来终结。
参考链接:https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/

© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com继续滑动看下一个
Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了原创 关注大模型的 轻触阅读原文

机器之心 赞 分享 在看 写留言 向上滑动看下一个
原标题:《Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了》
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。

- 美乌新版矿产协议曝光
- 商务部:中方将密切关注美方动向
- 节后机酒价下降,错峰出游成趋势

- 长三角铁路2025年春运发送旅客近9900万人次
- 下周A股解禁市值环比降低95.12%

- 牛顿第一定律是什么?
- 高适、岑参、王昌龄是唐代哪个流派的代表人物?

- 报料热线: 021-962866
- 报料邮箱: news@thepaper.cn
互联网新闻信息服务许可证:31120170006
增值电信业务经营许可证:沪B2-2017116
© 2014-2025 上海东方报业有限公司