和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
更新时间： 浏览次数： 258
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！电影
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！是一部引人入胜的作品，融合了幽默与深刻的社会观察。故事围绕着主角在繁忙都市生活中的日常挑战，通过夸张的情节和搞笑的对话，展现了现代人面临的压力与孤独感。作品中，主角在各种搞笑的遭遇中，逐渐领悟到友情与爱的真谛。这部作品不仅让人捧腹大笑，还引发思考，值得读者细细品味。通过生动的描绘与机智的语言，作者成功地将平凡的生活升华为一场有趣而深刻的旅程。
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！是什么公司
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！一部充满梦想与冒险的动画电影。它讲述了小男孩米格尔进入神秘世界追寻音乐梦想的故事，让人在欢笑与泪水中感受到生活的多彩与奇迹。
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！高清
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！一部关于种族平等与友谊的温馨喜剧。影片通过一位黑人钢琴家与白人司机的旅程，展现了不同肤色人们之间的误解与和解，传递出积极向上的正能量。
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！怎么样
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！是一部引人入胜的剧情片，讲述了一名年轻女保姆与她所照顾的富家公子之间复杂而禁忌的情感关系。影片通过细腻的情感描绘和紧张的剧情发展，探讨了爱、欲望与道德之间的冲突。在这段禁忌之恋中，角色们不断面临选择与挣扎，反映了人性深处的复杂与脆弱。影片不仅仅是一段爱情故事，更是对社会阶层与个体命运的深刻思考，深受观众喜爱。
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！太诱人
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！是一部充满奇幻色彩的动画电影，它构建了一个神秘而美丽的世界。影片中的千寻勇敢善良，她的成长历程也让人感受到了生活的真谛与美好。
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！带你另眼看世界下载
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！是一个为影迷们提供丰富影视资源的平台，致力于让用户在舒适的环境中享受优质的影视作品。网站汇聚了最新的电影、电视剧、综艺节目等多种类型的资源，无论是热门大片还是经典老片，都能一一找到。用户界面友好，搜索功能强大，方便观众快速定位想要观看的内容。平台支持多种观看模式，满足不同用户的需求，带来极致的视觉享受。无需注册，随时随地即可畅享精彩影视盛宴。
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！是什么公司
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！是一部探讨人性与情感深度的作品，通过细腻的叙述和生动的人物描写，展现了在现代社会中人们对爱情、梦想和自我价值的追寻。故事围绕几位性格各异的主人公展开，他们在生活的重压下，不断挣扎与成长，最终找到了内心的平静与热情。作品用真实而感人的情感，引发读者对自身经历的共鸣，让人在阅读中感受到生活的美好与希望。此书不仅是一场心灵的洗礼，更是一段关于爱的旅程。
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
男人又粗又硬桶女人免费的文化交流盛会：美食成为世界的语言服务查询
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
保定市（莲池区、竞秀区） 廊坊市（安次区、广阳区，固安）和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
和发小c1v1太深了轻一点快拔出来悬疑片中的推理与判断，锻炼了观众的逻辑思维与分析能力。原来是真的！
号称打败 GPT-4o 的开源 AI 新王被指造假，不要迷信大模型的榜单了
你有没有想过一个问题：AI 模型是怎么论资排辈的？
和人类的高考一样，它们也有自己的考试——基准测试（Benchmark）。
不过，高考就那么几个科目，基准测试的花样就多了，有的考察通识，有的专攻某一项能力，数学、代码、阅读理解，无所不包。
▲Google 发布 Gemini 时的基准测试排名
基准测试的好处是直观，榜单这么一拉，得分高低一目了然，比大段的文字更有拉拢用户的效果。
然而，测归测，准不准就不一定了。因为最近的一个疑似造假事件，基准测试的可信度又下降了一层。
开源模型新王者，转眼被「打假」
9 月 6 日，Reflection 70B 的出现，仿佛是个奇迹。它来自名不见经传的纽约初创公司 HyperWrite，却自封了「世界顶级开源模型」的称号。
开发者 Matt Shumer 是怎么证明这一点的呢？用数据。
在多项基准测试中，参数仅有 70B 的它，打败了 GPT-4o、Claude 3.5 Sonnet、Llama 3.1 405B 等一众大佬。比顶尖闭源模型还有性价比，瞬间惊艳众人。
Reflection 70B 并非从石头里蹦出来，自称基于 Meta 的 Llama 3.1 70B，花了 3 周训练，用到了一种新的技术 Reflection-Tuning，可以让 AI 检测自身推理中的错误，并在回答之前纠正。
用人类思维类比，这有点像《思考，快与慢》从系统一到系统二的转换，提醒 AI 悠着点，别脱口而出，而是减慢推理速度，也减少幻觉，给出更合理的答案。
然而，质疑声很快就来了。
9 月 8 日，第三方测评机构 Artificial Analysis 表示，他们没能复现基准测试的结果。
比如，其中一项基准测试 MMLU 的分数，Reflection 70B 和 Llama 3 70B 相同，但明显低于 Llama 3.1 70B，更别说 GPT-4o。
Matt Shumer 回复了质疑，解释第三方的结果更差，是因为 Reflection 70B 的权重在上传到 Hugging Face 时出现了问题，导致模型的性能不如内部的 API 版本。
理由蹩脚了点，两者交锋有来有回，随后 Artificial Analysis 又表示，他们拿到了私有 API 的权限，表现确实不错，但还是没有达到当初官宣的水平。
紧接着，X、Reddit 的网友们也加入了「打假」队伍，质疑 Reflection 70B 是直接在基础测试集上训练的 LoRA，基础模型是 Llama 3，所以能在榜单刷分，实则能力不行。
甚至有人指责，Reflection 70B 套壳了 Claude，从头到尾就是在骗人。
9 月 11 日，面对舆论，Matt Shumer 团队给出了声明，否认了套壳 Claude，尚不清楚为什么基准测试的分数没法复现。
分数虚高，可能是一开始就错了，数据污染，或者配置错误，请大家再给他们一些时间。
目前事件还没有最终的定论，但至少说明一个问题，AI 榜单的可信度需要打个问号，拿刷榜的高分自我营销，对不明真相的群众而言很有迷惑性。
五花八门的大模型考试，人类的排名焦虑
让我们回到最基础的问题：怎么评价一款大模型的性能？
一个比较简单粗暴的方式是看参数量，比如 Llama 3.1 就有多个版本，8B 适合在消费级 GPU 上部署和开发，70B 适合大规模 AI 原生应用。
如果说参数量是「出厂设置」，表现模型的能力上限，基准测试则是通过「考试」，评估模型在具体任务中的实际表现，至少有数十种，侧重点不同，彼此分数还不互通。
2020 年发布的 MMLU，又称大规模多任务语言理解，是目前最主流的英文评测数据集。
它包含约 1.6 万个多项选择题，覆盖数学、物理、历史、法律、医学等 57 个科目，难度从高中到专家，是一种通用智力测试。模型回答正确的题目越多，水平就越高。
去年 12 月，Google 表示，Gemini Ultra 在 MMLU 的得分高达 90.0%，高于 GPT-4。
但是，他们也不隐瞒，提示 Gemini 和 GPT-4 的方式不同，前者是 CoT（逐步推理），后者是 5-shot，所以这个分数可能不够客观。
当然，也有测试大模型各项细分能力的基准测试，列举起来就太多了。
GSM8K 主要考察小学数学，MATH 也考数学，但更偏竞赛，包括代数、几何和微积分等，HumanEval 则考 Python 编程。
除了数理化，AI 也做「阅读理解」，DROP 让模型通过阅读段落，并结合其中的信息进行复杂推理，相比之下，HellaSwag 侧重常识推理，和生活场景结合。
▲ HellaSwag 基准测试的测试题
虽然英文居多，中文大模型也有自己的基准测试，比如 C-Eval，由上海交通大学，清华大学，爱丁堡大学共同完成，涵盖微积分等 52 个学科的近 1.4 万道题目。
▲ 中文基准测试 SuperCLUE 测试逻辑与推理
那么「评卷老师」是谁？大概分为三种，一是自动化程序，比如编程的基准测试，模型生成的代码通过自动执行验证正确与否，二是用 GPT-4 等更强大的模型做裁判，三是人工。
混合拳这么一打，比四书五经六艺全面多了。但基准测试也存在严重的隐患。背后的公司「既当裁判又当运动员」，和老师怕学生作弊的情况如此相似。
一个隐患是容易泄题，导致模型「抄答案」。
如果基准测试的测试集是公开的，模型可能已经在训练过程中「见过」这些问题或答案，导致模型的表现结果不真实，因为模型可能不是通过推理解答问题，而是记住了答案。
这就涉及到数据泄露和过拟合的问题，导致模型的能力被高估。
▲ 人民大学等高校的研究指出，与评估集相关的数据偶尔会用于模型训练
还有一个隐患是花样作弊，这里有很大的人为操作空间。
Reflection 70B 在 X 被讨论得如火如荼的时候，英伟达高级研究科学家 Jim Fan 发帖表示：操纵基准测试，不难。
比如，从「题库」入手，基于测试集的改写例子训练模型。将测试集里的问题以不同的格式、措辞、语言重写，可以让一个 13B 的模型在 MMLU、GSM8K、HumanEval 等基准测试中打败 GPT-4，倒反天罡。
同时，也可以改变「做题方式」，增加推理的算力，通过自我反思（Self-reflection）、思维树（Tree of Thought）等，让模型减慢推理、多次推理，从而提高准确性。
Jim Fan 的态度很明确：
很惊讶，到了 2024 年 9 月，人们仍然为 MMLU 或 HumanEval 的分数兴奋。这些基准测试已经严重失效，操控它们可以成为本科生的作业。
另外，基准测试的难度，可能不一定跟得上 AI 的发展速度，因为它们通常是静态的、单一的，但 AI 在狂奔。
参与开发 MMLU 的 AI 安全研究员 Dan Hendrycks，在今年 4 月告诉 Nytimes，MMLU 可能还有一两年的保质期，很快会被不同的、更难的测试取代。
百模大战，人类社会的排名焦虑被传递给了 AI，各种暗箱操作之下，AI 排行榜成为一种营销工具，却鱼龙混杂，不那么可信。
AI 模型哪家强，用户会投票
但很多时候，有数据、有标准，事情才好办。
基准测试是一个结构化的打分框架，可以作为用户选择模型的一个因素，也可以帮助模型进步。做中文基准测试的 C-Eval 甚至直言：「我们的最重要目标是辅助模型开发。」
基准测试有其存在价值，关键是怎么变得更权威、更可信。
我们已经知道，如果测试集被用于模型训练，可能导致模型在基准测试「作弊」，一些第三方的测评，便从这个缺口入手。
数据标注公司 Scale AI 的 SEAL 研究实验室，很强调自身数据集的私密性。很好理解，「闭卷考」，才能见真章。
目前，SEAL 可以测试模型的编码、指令跟踪、数学和多语言能力，未来还会增加更多测评的维度。
▲ 今年 8 月 SEAL 的编码能力排名
除了做题、打分的模式，还有一种更接地气的基准测试：竞技场。
其中的代表是 Chatbot Arena，由卡内基梅隆大学、加州大学伯克利分校等研究人员的非营利组织 LMSYS 发起。
它让匿名、随机的 AI 模型相互竞争，并由用户投票选出最佳模型，然后使用国际象棋等竞技游戏常用的 Elo 评分系统排名。
具体来说，我们可以在线向两个随机选择的匿名模型 A 和 B 提问，然后给两个答案投个票，更喜欢 A，更喜欢 B，平局，还是都不喜欢，这时候，我们才能看到 A 和 B 模型的真面目。
我提的问题是之前难倒过很多 AI 的「9.9 还是 9.11 大」，两个模型都答错了，我点了个踩，发现抽中的幸运儿一个是 GPT-4o，一个是法国的 Mixtral。
Chatbot Arena 的长处很明显，海量用户提出的问题，肯定比实验室捣鼓出的测试集复杂和灵活得多。人人看得见摸得着用得了，排名也就更接近现实世界的需求。
不像一些基准测试，测试高等数学，测试输出安不安全，其实离研究更近，离大多数用户的需求很远。
目前，Chatbot Arena 已经收集了超过 100 万个投票。马斯克的 xAI，也用过 Chatbot Arena 的排名背书。
但也有人持反对意见，认为 Chatbot Arena 会被少数用户的偏见影响，萝卜青菜各有所爱，有些用户可能喜欢更长的答案，也有些用户欣赏言简意赅，文无第一，这怎么比？
所以，Chatbot Arena 最近做出了一个调整，区分了「风格」和「内容」这两个指标，「内容」是说什么，「风格」是怎么说。通过控制对话长度和格式的影响，排名发生了改变。
简言之，怎么测，基准测试都不能保准，也不能被迷信，它们只是一种参考，就像高考只能反映学生的部分能力。
当然，最令人不满的行为，是主观地在基准测试刷榜，为自己背书，单纯地追求华而不实的排名。
回归初衷，我们都是要用 AI 解决现实问题，开发产品，写段代码，生成图片，做个心理咨询收获点情绪价值…… 基准测试没法帮你回答，哪个 AI 讲话更好听。
假的真不了，用脚投票，小马过河，才是最朴素的道理。那些更主观、更个人的感受和体验，仍然要用我们的实践换取。
| · ·
xtt“一个人看的视频www免费高清的金融理财功能很实用，它帮我管理了我的财务。”(在线预约)京香在线观看的冒险挑战：勇敢尝试，发现新美味-上门服务
送妈妈档次高又不贵的礼物“自从用了这款应用，我再也不用担心忘记重要事项了，它总是准时提醒我。”靠谱推荐
暴雨315国产精品试看我觉得这部电影很适合年轻人看，它充满了活力和创新精神。真的可信
金山词霸 破解版的社交功能：美食成为人际交往的媒介靠谱推荐
天堂网404在线资源的跨界探索：艺术、音乐与美食的奇妙碰撞靠谱推荐
