Bhaiyabot的LLM优于OpenHathi、Lama 2和Mistral 7B

2023年12月22日 由 camellia 发表 279 0

Bhaiyabot的最新AI模型rohansolo/BB-L-01-7B,在印地语、英语和印度英语的360k对话样本上进行了训练,根据创始人Rohan Shiralkar在LinkedIn上的帖子,它在所有基准测试中都超过了Sarvam AI的OpenHathi-7B、Meta Llama-7B以及即使是Mistral AI自己的微调模型,同时保持了基础模型的性能。


1


这个模型是在HuggingFaceH4/ultrachat_200k和rohansolo/BB_HindiHinglish数据集上对mistralai/Mistral-7B-v0.1进行微调的版本。在评估集上,它达到了以下结果:


Shiralkar说,印度的AI远远落后,而且在AI领域工作的公司太忙于营销非成就了。这包括微调一个模型并将其标记为预训练模型的活动(如Sarvam AI所做的),声称是印度第一个AI聊天机器人,尽管没有产品发布或发布(如BharatGPT -印度首个14种印度语言的AI(LLM)-文本、语音、视频),甚至捏造事实(如Krutrim)等等。


Shiralkar甚至对Ola最近启动的Krutrim提出了质疑。他在LinkedIn上写道:“Ola的Krutrim声称已经训练了一个2万亿token的LLM。而他们已经活跃了2周。这甚至足够训练一个微型模型2万亿token吗?”


此外,他说,新闻声称它已经比GPT-4更好,这是可笑的。“我想要一个印度的LLM。我为此哭泣了好久。这是一项战略性的命令。我只是想要一个真实的,不是为了筹资而捏造的。"他补充说。

文章来源:https://analyticsindiamag.com/bhaiyabots-llm-outperforms-openhathi-llama-2-and-mistral-7b/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消