首页 > 技术 > AI/人工智能

关于ai人工智能的前景丨人工智能ai在中国的发展

人阅读 2023-07-27 13:56:08

【关于ai人工智能的前景丨人工智能ai在中国的发展】lot物联网小编为你整理了的相关内容,希望能为你解答。

ChatGPT以及GPT4的推出让OpenAI名扬天下,让微软赚的盆满钵满,让马斯克懊恼不已,让360上下纷飞,百度的文心一言更是被大多数人嘲笑和挖苦。

但我的看法是中国的AI之路将会后来居上,彻底震惊世界。在AI领域,中国是只会赢不会输的!

GPT是什么?

GPT模型是美国OpenAI公司开发的一个基于人工智能技术的语言模型,是一个预训练的语言模型,它能够生成文本、回答问题、翻译文本、写作等等。

相比之前的AI技术,GPT模型有以下几个主要区别:

模型结构不同:GPT模型采用了自监督预训练技术,通过利用大量的已有数据进行训练,从而得到了一个更加高效、更加准确的模型。传统的AI技术,如谷歌的Google-Now、self-driving car等,通常是通过分析大量数据来进行学习,而GPT模型则是利用了预先训练的方式,更加高效。模型目标不同:GPT模型主要是为了生成各种类型的文本,而不是为了执行特定任务。相比之下,传统的AI技术,如自然语言处理、图像识别等,通常是为了执行特定任务,如文本分类、图像分类等。模型训练方法不同:GPT模型采用了一种名为“预训练”的技术,通过利用大量的已有数据进行训练,从而得到了一个更加高效、更加准确的模型。传统的AI技术,如深度学习、强化学习等,通常需要通过手动设计神经网络来进行训练,而GPT模型则是利用了现有的预训练模型,更加高效。

GPT-4是一个多模态大模型(接受图像和文本输入,生成文本)。相比上一代的GPT-3,GPT-4可以更准确地解决难题,具有更广泛的常识和解决问题的能力。

除了GPT还有其他LLM模型吗?

1、Meta:LLaMA,生态发展蓬勃

几周前,MetaAI推出了大语言模型LLaMA,其不同版本包括70亿、130亿、330亿和650亿的参数,虽然比GPT3还小,但LLaMA在许多任务上的性能都能够追平甚至超越GPT3。

更值得注意的是,作为体量更小的模型,LLaMA不需要太多资源就能流畅运行,且LLaMA的训练成本及训练速度都要优于GPT3.5。

而有趣的是,LLaMA起初并未开源,但在发布后不久,模型便在4chan论坛上泄露了。然而这个乌龙事件却也使LLaMA因祸得福,在“被迫”开源后,LLaMA引发了大量开发者的关注,基于其构建的模型也如雨后春笋般诞生。这场本应是不幸的事情也使得LLaMA成为了如今LLM领域最具影响力的创新来源之一。

2、斯坦福大学:Alpaca,性价比拉满

Alpaca是斯坦福大学通过Meta的LLaMA 70亿微调而成的全新模型,仅使用了52k数据,但其性能却基本达到了GPT3.5的水平。而Alpaca的关键优势则在于低到出奇的训练成本——仅需不到600美元。

斯坦福大学的研究人员表示,Alpaca表现出了许多类似于OpenAI的GPT3模型的行为,但相比于GPT3,Alpaca的体积更小且各项能力更易于重现。

截至目前,斯坦福团队已在GitHub上开源了Alpaca模型微调所用到的数据集和代码,并提供了一个在线演示网站供用户体验。数据集包含了5.2万个由OpenAI API生成并人工筛选过后的问题-答案对。代码则基于华盛顿大学去年提出的Self-Instruct方法,让AI自己从种子任务中组合出新任务,并生成相应答案。

3、Databricks:Dolly2.0,全开源可商用

没错,这个模型正是借用了克隆羊Dolly的名字。4月12日,Databricks发布了Dolly 2.0大型语言模型。Databricks表示,Dolly2.0是业内第一个开源、指令跟随型LLM,其在透明免费的数据集上进行微调,可用于研究和商业用途。此外,Databricks还发布了Dolly 2.0在其上进行微调的数据集,称为databricks-dolly-15k。

作为Dolly模型的升级版,Dolly2.0使用了基于 EleutherAI的Pythia模型家族中的120亿参数语言模型。虽然由于参数量和数据限制,Dolly2.0的综合性能表现略逊于同类型大模型,但对大部分开发者而言也已经足够了。并且Dolly2.0完全开源及可商用的属性,使其顺理成章的成为中小企业及个人开发者的福音。

4、Hugging Face:BLOOM,体量惊人

BLOOM是去年由1000多名志愿者在一个名为BigScience的项目中创建的,该项目由AI初创公司Hugging Face利用法国政府的资金运作的。BLOOM拥有1760亿参数,研究人员表示它提供了与GPT3模型相似的准确性和有毒文本生成水平。

作为目前体量最大的开源大型语言模型之一,BLOOM的训练集包含45种自然语言(含中文)和12种编程语言,1.5TB的预处理文本转化为了350B的唯一token。实验证明BLOOM在各种基准测试中都取得了有竞争力的表现,在经过多任务提示微调后也取得了更好的结果。

5、阿卜杜拉国王科技大学MiniGPT4,图像对话能力可观

MiniGPT4是近期由沙特阿拉伯阿卜杜拉国王科技大学研究团队推出的一款全新开源模型。据研究人员透露,MiniGPT4具有许多类似于GPT4的功能。除了可执行复杂的视觉语言任务外,MiniGPT4还拥有与GPT4相似的图片解析功能。

研究团队所发布的论文显示,为了构建MiniGPT4,研究人员使用了基于LLaMA所构建的Vicuna作为语言解码器,并使用BLIP-2视觉语言模型作为视觉解码器,且由于使用开源软件的缘故,MiniGPT可以用较少的数据和费用进行训练和微调。虽然由于模型发布较晚,该模型相关测评并未公布,但据GitHub显示,目前该研究团队已将MiniGPT的代码、预训练模型和数据集进行了开源。

6、Stability AIStableLM,万亿token训练

4月19日,Stability AI发布了一个新的开源语言模型——StableLM。该模型的Alpha版本有30亿和70亿参数,后续还会推出150亿和650亿参数的版本。根据CC BY-SA-4.0许可证的条款,开发人员可以出于商业或研究目的自由检查、使用和修改我们的StableLM基本模型。

据官方介绍,StableLM的构建基于非盈利研究中心EleutherAI所开源的多个语言模型,包括GPT-J,GPT-NeoX等,该模型在The Pile基础上构建的新数据集上进行训练,该数据集包含 1.5 万亿个token。可支持4096的上下文宽度,且RL调试模型可用。

但值得注意的是,该模型并为发布基准测试,也没有发布有关模型的详细信息,其基本型号上也存在一些限制性许可证。并且StableLM会抓取ChatGPT的输出内容,这会违反OpenAI的使用条款,OpenAI有权在收到通知后终止用户的访问。因此,在进行商用时,该模型依然存在一定的潜在风险。

由于这么多开源LLM模型,国内的追上欧美指日可待

我们可以看到目前的这些开源LLM基本上都已经的达到了GPT3、3.5和4的水平。也就说国内哪怕是落后的厂商只要反向研究这些开源的代码,能力很快就能够达到这样的水平。

而AI的先进领域的发展,并不是真正的日新月异的。也就说可能在未来3-10年内,AI的再次大幅度提升是不可期待的。

那么这个时候,中国的厂商可以通过这段时间利用国内低廉的科技人才的资源,进行这些源码的二次封装和改变,以及与其他设备和软件的集成形成新的产品力。

这种情况我们可以在云计算、无代码开发、linux、web的前后端好多领域出现过。毫无疑问,我们将再次使用这种模式接近甚至超越。

以上内容为【关于ai人工智能的前景丨人工智能ai在中国的发展】的相关内容,更多相关内容关注lot物联网。

LOT物联网

iot产品 iot技术 iot应用 iot工程

Powered By LOT物联网  闽ICP备2024036174号-1

联系邮箱:support1012@126.com