财经新闻网消息：
大型车型成为今年的行业热点。 正是在本次投资大会上，沙利文单独设立了数字经济分论坛。 11个议程项目中，AI大模型占7个项目。
在更广阔的供给市场，据中国科学技术信息研究所今年5月发布的不完全统计，国内参数超过10亿的模型产品已达79个，领先技术企业已进入市场。 场地。
然而，面对复杂的需求、多样且快速迭代的技术以及不断变化的大模型厂商格局，如何准确识别大语言模型的优缺点，找到最优方案并做出购买决策？ ，企业客户又遇到麻烦了。
刘良表示，中国厂商提供了不同的大模型应用，但最近他们接触了越来越多的企业用户，发现这些客户非常困惑。 如何评价和比较大型模型？ 一个合格的大模型应该具备哪些能力？ 有没有一个衡量大型模型质量的基准？
评估是目前比较全面的解决方案。 刘良介绍，经过半年的发展，大模型评测市场已形成两类：一类是传统的学术评测集，之前其实就存在；另一类是传统的学术评测集。 另一种是因受欢迎而出现的市场化榜单。
学术评估主要由全球各大学或知名厂商主导。 这种测试可以简单理解为题库考试，用数万甚至数十万个问题询问大型模型，涵盖语言分析、阅读理解、数学推理、代码生成以及安全伦理和价值观等.，以获得正确的汇率。
在刘良看来，这种评价方法实际上是把大模型当作人来对待。 是否达到了相当于人类智商的位置，只考察模型本身的能力。
市场化评估由第三方机构主导。 它与学术评价集不同的是，会有横向比较。 它不仅评估大模型本身的能力，还评估大模型提供商的综合能力，涵盖算力、数据、算法、生态建设和战略愿景等维度。
刘良表示，通过市场化的榜单评估，我们基本上可以清楚地看到目前各大车型的实力水平。 这也是商汤科技从厂商的角度会更加关注的一个领域，也更愿意与这样的评测机构进行观察、合作和配合。
但无论采用何种方法，在目前的大模型评测中，同一大模型在不同榜单上的得分仍然会存在较大差异。 业内人士甚至称存在“刷单”现象。 这在一定程度上也反映了当前大模型评价的结果。 模型评估的混乱。
对此，刘良认为，未来良性大规模模型评测的趋势首先应该是“开卷与闭卷”相结合，避免排名榜单和评测结果权威性不足的问题。 二是主观题与客观题相结合。 一定要有选择题来考察大模型本身的能力，至少要有一些主观因素来考虑它的情商等，最后还包括人工评分、多轮提问等方法进行综合评价。
免责声明 ① 本网所刊登文章均来自网络转载;文章观点不代表本网立场,其真实性由作者或稿源方负责 ② 如果您对稿件和图片等有版权及其他争议,请及时与我们联系,我们将核实情况后进行相关删除 ③ 联系邮箱:215858170@qq.com
Copyright © 2017-2018