原创 小米大语言模型milm色色操通过大模型备案

5月16日消息,据“小米公司”官方微博,今天小米大语言模型MiLM正式通过大模型备案,相关模型据称将逐步应用于小米汽车、手机、智能家居等产品中,后续“将面向更多用户开放体验”。

小米公司MiLM大模型在去年8月首度现身C-evals、CMMLU大模型评测榜单,当时这款模型在C-evals总榜单排名第10、同参数量级排名第1。

IT之家根据GitHub项目页给出的信息得知,MiLM-6B是由小米公司开发的一个大规模预训练语言模型,参数规模达64亿。

▲图源MiLM-6B的GitHub页面

而根据C-evals给出的信息,MiLM-6B模型在具体各科目成绩上,在STEM(科学、技术、工程和数学教育)全部20个科目中,计量师、物理、化学、生物等多个项目获得了较高的准确率。

▲图源C-evals

据悉,MiLM-6B模型目前已经在大多数文科科目中表现出了相对良好的准确度,不过在“法学、数学、编程、概率论、离散数学”等涉及“抽象思维”的科目中,还有一定进步空间。

在10个“社会科学”测试科目中,除“教育学和地理”外,该模型在其他8个科目中都获得了较为理想的准确率。在人文科学的11个科目中,MiLM-6B则在“历史与法律”基础上有着不错的准确率表现。