工联院大模型测评:文心一言在工业领域表现超过GPT3.5,居国内大模型首位
2023-06-30 05:54:55 红星新闻

工联院大模型测评:文心一言在工业领域表现超过GPT3.5,居国内大模型首位

近期,中国工业互联网研究院(简称“工联院”)针对人工智能大模型在中文工业领域的知识问答能力进行系统性评测。结果显示,百度文心一言表现超过GPT3.5,综合评价指数在国内排名第一。

工联院本次评测选取了工业领域典型的八大行业。百度文心一言在电子设备、装备、钢铁、采矿、电力、石化、建材等七大行业均获国内第一。


(资料图片)

五大院士,八大IEEE Fellow,共十三位顶级专家构成了专家委员会。评测对象涵盖GPT4、GPT3.5、文心一言、ChatGLM等国内外具有代表性的头部大模型。评估结果选取性能前六名的模型进行公布。

百度文心一言在国内“更懂工业”

本次工业知识问答测试主要分为客观题与主观题两大类,总计超过1100个问题。主观题主要考察四大维度:基础能力、语句能力、概括能力和逻辑能力。

评测结果显示,GPT4表现最佳。国内头部大模型表现亮眼,整体与GPT3.5相当。其中百度文心一言表现超过GPT3.5,在国内大模型中排名第一。

在客观题环节,评测结果显示,GPT4与文心一言表现好于其他大模型。但评测结果也同时指出,大模型普遍准确率有较大的提升空间。

主观题方面,国内大模型的基础能力、语句能力与GPT4接近,概括能力、逻辑能力与GPT4有一定差距。

在大模型的自我认知能力和污染问题分析能力上,GPT4相较于其他大模型表现出更好的能力。

大模型发展新热点:丰富特定行业专业知识

虽然国内大模型在本次评测表现较好,甚至在部分行业赶超GPT3.5,但工联院评测报告也指出,国内外通用大模型在工业知识问答领域探索仍处于初级阶段,国内大模型与GPT4有差距,比如行业间的泛化能力有待加强。

实际上,工联院评测报告揭示出通用大模型落地垂直行业的痛点,缺乏特定行业的专业知识。

关于解决难题的方法,工联院评测报告给出的建议是,进一步丰富相关专业领域的数据训练集,进一步进行专业化的微调。

当前,国内科技公司纷纷加强与工业企业合作,期望通过在实际场景中探索应用大模型,弥补差距,赶超GPT4.0。

比如在本次评测中位居国内模型第一的百度文心一言,与南方电网电力调度控制中心在电力调度场景探索使用调度AI大模型。在汽车行业,长安汽车基于百度文心大模型正在开发生成式人工智能产品,赋能一款量产车型,实现提升用户体验的目标。除了能源、汽车制造,百度智能云还在建筑、采矿、物流、纺织等领域,探索使用大模型提升运营效率和用户体验效果。

通过在实际场景的探索应用,科技公司可以积攒更多的行业Know-how(技术诀窍),扩展相关领域的数据训练集。这种外部真实反馈有助驱动大模型更加快速地实现迭代升级。

未来,工联院将持续开展通用大模型在工业领域更多维度的性能评测,包括但不限于大模型的鲁棒性、安全性以及人类大价值观等。

红星新闻记者 胡沛

热门推荐

文章排行

  1. 2023-06-30工联院大模型测评:文心一言在工业领域表现超过GPT3.5,居国内大模型首位
  2. 2023-06-30【天天播资讯】航锦科技(000818):6月29日北向资金减持7.12万股
  3. 2023-06-30我的少女时代迅雷种子 我的少女时代百度云
  4. 2023-06-30看上去很美影评师幼关系 看上去很美影评-焦点消息
  5. 2023-06-29哈里·马奎尔度假时与性感妻子在泳池中大胆赤裸上身 热讯
  6. 2023-06-29姜至鹏:球队发挥出了能做到的所有东西,还是很欣慰的-最新消息
  7. 2023-06-29国常会:进一步强化安全生产重大风险和事故隐患排查整治
  8. 2023-06-29【大国基理】山西平定:下足智慧治理的“绣花功夫”-天天速看
  9. 2023-06-29落叶已随流水去,春风未放百花舒!|全球快播
  10. 2023-06-29【热闻】中央气象台:江淮江汉四川盆地有强降雨 华北黄淮等地将出现持续高温
  11. 2023-06-29颐和园平面图高清大图 颐和园平面图
  12. 2023-06-29摩比发展(00947)6月29日回购6000股 速读
  13. 2023-06-29重庆光明消防设备厂最新招聘(重庆光明消防设备厂)
  14. 2023-06-29新房空调孔多大尺寸(空调孔多大尺寸)|环球今头条
  15. 2023-06-29曝超大游戏平板要来了!12英寸屏幕+一万毫安电池
  16. 2023-06-29【聚看点】河南省职工线上健身运动系列活动开始报名
  17. 2023-06-29中远海能(600026)6月29日主力资金净买入2322.40万元_全球最资讯
  18. 2023-06-29范红娟_关于范红娟的简介
  19. 2023-06-29【安全生产百日攻坚】万顺派出所:学子考场逐梦 民警保驾护航
  20. 2023-06-29宇瞳光学6月29日盘中涨幅达5%