更新时间: 浏览次数: 258
美国式禁忌桥矿网的创意发源地:料理师的创意与灵感源泉原来是真的!一部充满浪漫与诗意的爱情电影。它讲述了两个陌生人在火车上相遇并度过一夜的故事,让人在浪漫中感受到爱情的美好与奇妙。
美国式禁忌桥矿网的创意发源地:料理师的创意与灵感源泉原来是真的!这部科幻经典以其独特的叙事风格和深刻的哲学思考,引领了整整一代人的思考。基努·里维斯的表演深入人心,他饰演的尼奥在虚拟与现实之间挣扎,寻求真相的过程充满了智慧与勇气。
美国式禁忌桥矿网的创意发源地:料理师的创意与灵感源泉原来是真的!该片以真实事件为蓝本,讲述了一个关于药品和人性的故事。徐峥、王传君等人的演技可圈可点,让人笑中带泪。影片引发了观众对于医疗体系和人性善恶的深思。
美国式禁忌桥矿网的创意发源地:料理师的创意与灵感源泉原来是真的!是一部关于成长与救赎的电影。影片通过逃犯与小男孩之间的奇特关系,展现了人性的复杂与温情。影片中的表演细腻入微,情感真挚动人,让人在感动的同时也收获了对于人性的深刻理解。
美国式禁忌桥矿网的创意发源地:料理师的创意与灵感源泉原来是真的!是一部充满幻想与童真色彩的作品,描绘了两个独特角色的奇妙旅程。玉米男孩,象征着丰收与希望,金黄色的发丝如同成熟的玉米,脸上总挂着阳光般的笑容,展现出乐观向上的性格。芝麻女孩则代表着细腻与坚韧,黑色的秀发如芝麻般闪烁,脸庞上洋溢着智慧与温暖。他们在探险中相互鼓励,通过彼此的陪伴,探索友谊的真谛与成长的意义。两者的脸部特征鲜明,形成了鲜明的对比,传递出美好而深刻的情感。
美国式禁忌桥矿网的创意发源地:料理师的创意与灵感源泉原来是真的!》是一部经典的黑帮题材电影。影片通过细腻的笔触和深刻的主题,揭示了黑帮世界的残酷与复杂。马龙·白兰度的表演堪称经典,他将教父的威严与智慧演绎得淋漓尽致,让人难以忘怀。
美国式禁忌桥矿网的创意发源地:料理师的创意与灵感源泉原来是真的!:陈思诚的导演才华再次得到展现,王宝强和刘昊然的表演愈发成熟。案件设计巧妙,反转连连,让观众在欢笑中感受到悬疑的魅力。周润发的加盟更是为影片增色不少,他的气场和演技都让人印象深刻。
零一万物,像是装上了 V12 发动机。
本月 13 号,李开复携零一万物发布了旗下第二款产品 Yi-Large 闭源模型。公开不到半个月,Yi-Large 就从初生牛犊不怕虎的新生代,成为了长江后浪排前浪的实力派。
上周,一个名为「im-also-a-good-gpt2-chatbot」的神秘模型突然现身大模型竞技场 Chatbot Arena,排名直接超过 GPT-4-Turbo、Gemini 1 .5 Pro、Claude 3 0pus、Llama-3-70b 等各家国际大厂的当家基座模型。
而这个神秘模型正是 GPT-4o 的测试版本,OpenAI CEO Sam Altman 也在 GPT-4o 发布后亲自转帖引用 LMSYS arena 盲测擂台的测试结果。
时隔一周,在最新更新的排名中,类「im-also-a-good-gpt2-chatbot」的黑马故事再次上演,这次排名飞速上涨的模型正是由中国大模型公司零一万物提交的「Yi-Large」千亿参数闭源大模型。
在 LMSYS 盲测竞技场最新排名中,零一万物的最新千亿参数模型 Yi-Large 总榜排名世界模型第 7,中国大模型中排名第 1,已经超过 Llama-3-70B、Claude 3 Sonnet;其中文分榜更是与 GPT4o 并列世界第一。
由开放研究组织 LMSYS Org(Large Model Systems Organization)发布的 Chatbot Arena 已经成为 OpenAI、Anthropic、Google、Meta 等国际大厂硬碰硬的擂台,并且还开放了群众投票功能。
零一万物也由此成为了总榜上唯一一个自家模型进入排名前十的中国大模型企业。
在总榜上,GPT 系列占了前 10 的 4 个,以机构排序,零一万物 01.AI 仅次于 OpenAI, Google, Anthropic 之后,正式进击国际顶级大模型企业阵营。
现在看来,那句「成为 World’s No.1」的口号,不是空喊,而是正在成为。
中文得分世界第一,「烧脑」盲测全球第二
美国时间 2024 年 5 月 20 日刚刷新的 LMSYS Chatboat Arena 盲测结果,来自至今积累超过 1170 万的全球用户真实投票数。
值得一提的是,为了提高 Chatbot Arena 查询的整体质量,LMSYS 还实施了重复数据删除机制,并出具了去除冗余查询后的榜单。
这个新机制旨在消除过度冗余的用户提示,如过度重复的「你好」,这类冗余提示可能会影响排行榜的准确性。
LMSYS 公开表示,去除冗余查询后的榜单将在后续成为默认榜单。
在去除冗余查询后的总榜中, Yi-Large 的 Elo 得分更进一步,与 Claude 3 Opus、GPT-4-0125-preview 并列第四。
在总榜之外,LMSYS 的语言类别上新增了英语、中文、法文三种语言评测,开始注重全球大模型的多样性。Yi-Large 的中文语言分榜上拔得头筹,与 GPT4o 并列第一,Qwen-Max 和 GLM-4 在中文榜上也都表现不凡。
国内大模型厂商中,阿里的 Qwen-Max 和智谱的 GLM-4 都有表现不凡。
在分类别的排行榜中,Yi-Large 同样表现亮眼。编程能力、长提问及最新推出的「艰难提示词」的三个评测是 LMSYS 所给出的针对性榜单,以专业性与高难度著称,可称作大模型「最烧脑」的公开盲测。
编程能力、长提问及最新推出的「艰难提示词」的三个评测,专业性与高难度,也被称为 LMSYS 榜单中「最烧脑」的公开盲测。
在编程能力(Coding)排行榜上,Yi-Large 的 Elo 分数超过 Anthropic 的 Claude 3 Opus,仅低于 GPT-4o,与 GPT-4-Turbo、GPT-4 并列第二;
长提问(Longer Query)榜单上,Yi-Large 同样位列全球第二,与 GPT-4-Turbo、GPT-4、Claude 3 Opus 并列;
艰难提示词(Hard Prompts)榜单上,Yi-Large 与 GPT-4-Turbo、GPT-4、Claude 3 Opus 并列第二。
用科学方法,得客观结果
如何为大模型给出客观公正的评测一直是业内广泛关注的话题。
此前,业内出现过各式各样的「刷榜」方法,但始终无法体现大模型的真实能力,让想了解的人云里雾里,也让相关行业的投资人摸不着头脑。
而 LMSYS Org 发布的 Chatbot Arena 则开始打破这一乱象。
凭借其新颖的「竞技场」形式、测试团队的严谨性,成为目前全球业界公认的基准标杆,连 OpenAI 在 GPT-4o 正式发布前,都在 LMSYS 上匿名预发布和预测试。
OpenAI 创始团队成员 Andrej Karpathy 甚至公开表示:
Chatbot Arena is awesome(Chatbot Arena 是令人惊叹的).
在形式上,Chatbot Arena 借鉴了搜索引擎时代的横向对比评测思路:
通过众筹真实用户来进行线上实时盲测和匿名投票,Chatbot Arena 一方面减少偏见的影响,另一方面也最大概率避免基于测试集进行刷榜的可能性,以此增加最终成绩的客观性。
在经过清洗和匿名化处理后,Chatbot Arena 还会公开所有用户投票数据。
在收集真实用户投票数据之后,LMSYS Chatbot Arena 还会使用 Elo 评分系统来量化模型的表现,进一步优化评分机制,力求公平反应参与者的实力。
在 Elo 评分系统中,每个参与者都会获得基准评分,每场比赛结束后,参与者的评分会基于比赛结果进行调整。
系统会根据参与者评分来计算其赢得比赛的概率,一旦低分选手击败高分选手,那么低分选手就会获得较多的分数,反之则较少。
通过引入 Elo 评分系统,LMSYS Chatbot Arena 很大程度上保证了排名的客观公正。
以小搏大
此次 Chatbot Arena 共有 44 款模型参赛,既包含了顶尖开源模型 Llama3-70B,也包含了各家大厂的闭源模型。
值得一提的是,排名前 6 的模型分别归属于海外巨头 OpenAI、Google、Anthropic,零一万物位列全球第四机构,且 GPT-4、Gemini 1.5 Pro 等模型均为万亿级别超大参数规模的旗舰模型,其他模型也都在大几千亿参数级别。
Yi-Large「以小搏大」,以仅仅千亿参数量级紧追其后。
AI 大模型的竞争发展仍然处于白热化阶段,人工智能的「百模大战」仍会持续上演,在这个以「周」甚至以「天」为迭代单位的领域,有一个相对公平客观的评价体系,就显得尤为重要。
持续更新评分体系的评测平台,不仅可以让行业投资人看到技术发展的真实状况,也能让用户对先进模型有选择的权利,更是可以促进整个大模型行业的健康发展。
无论是出于自身模型能力迭代的考虑,还是立足于长期口碑的视角,大模型厂商应当积极参与到像 Chatbot Arena 这样的权威评测平台中,通过实际的用户反馈和专业的评测机制来证明其产品的竞争力。
相反,如果只在乎刷榜的结果,而忽视模型真实的应用效果,那么模型能力与市场需求之间的鸿沟会越发明显,最终将难以在激烈的 AI 市场竞争中立足。
在 AI 时代的浪口,各大模型厂商想要做到优秀甚至顶端,至少需要两种特质:
值得期待的是,现在有一批优秀的国产大模型厂商,正在脚踏实地,创新研发,甚至能够在国际舞台上,和行业巨头一较高下。
LMSYS Chatbot Arena 盲测竞技场公开投票地址:https://arena.lmsys.org/
LMSYS Chatbot Leaderboard 评测排行(滚动更新):https://chat.lmsys.org/?leaderboard
#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。
xtt双人床条约百度影音的配乐和画面相互映衬,营造出了一种独特的氛围,让人沉浸其中。原来是真的!