走进人工智能NLP自然语言处理的世界，NLU与NLG又是什么|人工智能nlp

【走进人工智能NLP自然语言处理的世界，NLU与NLG又是什么|人工智能nlp】lot物联网小编为你整理了的相关内容，希望能为你解答。

在人工智能出现之前，机器智能处理结构化的数据（例如 Excel 里的数据）。但是网络中大部分的数据都是非结构化的，例如：文章、图片、音频、视频…

为了能够分析和利用这些文本信息，我们就需要利用 NLP 技术，让机器理解这些文本信息，并加以利用，然后能够给人类带来更多的方便快捷

人类有人类的沟通语言，比如汉语，英语，或者手语等等，这些都是人与人沟通的语言，动物有动物之间的沟通语言，当然，植物也有植物之间的沟通信息的语言，我们是如何跟自己家的宠物沟通的？？

可以想象，当你想和计算机对话，计算机在收到你的语言信息后，会翻译成它能理解的数字内容，然后使用这些数字语言，通过一些处理分析，做出行为决策，最终返回人类的语言。一来一回，形成对话，解决具体问题。这就是计算机使用自己的语言和我们交流的一种方式。这种在人与计算机之间沟通的桥梁就称之为NLP 自然处理技术（NLP: nature language processor）

NLP技术其实我们在现实生活中已经应用的很是广泛了，比如我们的搜索引擎，机器翻译，手机智能语音助手，人机交互，以及头条号写作时的自动错别字检测等等，这些都是NLP技术的呈现。

自然语言理解，则是计算机需要读懂人类输入的语言信号，然后根据这个信号指令去执行指定的操作，然后由于语言理解存在如下问题，便成为了NLU的解决难点

1. 语⾔的多样性

2. 语⾔的歧义性

3. 语⾔的鲁棒性

4. 语⾔的知识依赖

5. 语⾔的上下⽂文

NLU主要的实现方法如下：

1. 基于规则的⽅方法：常⻅见的⽅方法有：CFG、JSGF等

2. 基于统计的⽅方法; 常⻅见的⽅方法有：SVM、ME等。

3. 基于深度学习的⽅方法: CNN、RNN、LSTM 等，特别是现在的BERT 和 GPT-3 等技术的发展大大推动了NLP的发展，他们用到是，Transformer

自然语言生成，则是计算机处理完待定的指令后，需要把计算机的语言转换成人类可以读懂的语言呈现出来

步骤：

1. 内容确定 - Content Determination

2. ⽂文本结构 - Text Structuring

3. 句句⼦子聚合 - Sentence Aggregation

4. 语法化 - Lexicalisation

5. 参考表达式⽣生成 - Referring Expression Generation|REG

6. 语⾔言实现 - Linguistic Realisation

由于NLP自然处理技术是处理的人类的语言（包含文字，图片，视频等信息），这些语言信息都是没有任何规律的且可以自由组合，往往一些对话内容，需要联系上下文等等，导致NLP技术困难重重，由于现在人工智能技术的不断完善，其NLP技术也有了突出的发展，比如最近大火的GPT-3

在还没有深度学习时，机器学习的NLP的处理流程主要包括：语料预处理（分词，语义备注等），特征工程（特征提取，特征选择等），选择分类器（根据特征信息，选择不同的分类方法进行处理）

深度学习之后，有了人工智能的神经网络，深度学习的NLP处理流程主要包括：语料预处理（分词，语义备注等），设计训练的神经网络模型，训练神经网络模型，最后使用模型进行NLP处理

对于语料预处理，每个语言都有没有语言的特色，比如英语，汉语等，在预处理阶段，需要的处理技术稍有区别，但是最终目的都是处理出主要的信息含义，关于每个名词的具体含义我们后期慢慢分享

情感分析：根据一个人发表的信息，推断出这个人的情绪是积极或者消极的，或者是悲伤，快乐等等

聊天机器人：Siri,微软小冰等智能助手，特别是近年来发展迅速的智能音箱等，相信未来会有更多智能家居的出现

语言识别：文字转语音，语言转文字，手机智能输入法，语音导航等等

机器翻译：这个不用多说，我们使用的最多的百度翻译，Google翻译等等

未来，我们的互联网可能就会存在特别多只有机器才能看懂的语言，大多数时候也可能是机器在和机器对话，而不是人和人。因为我们更习惯于把不重要的事物交给机器来完成，由他们来当我们的管家，帮我们订机票，定餐馆，完成一些重复性工作，释放我们人类可贵的注意力和价值。

回顾历史，人类创造了语言，使得信息得以流传，使得人类社会更加紧密。而现在我们使用自然语言处理技术，让人类也能和非生命体的计算机交流，让它们替我们完成脏活累活。但这并不是技术的天花板，未来的自然语言处理必定会突破语言学的屏障，铸就计算机自己的语言，使它们彼此之间也能交流，那天也就真正开启了人工智能时代

本期我们简单介绍了NLP技术的基础知识，后期我们会分享更多NLP方向的知识，其中包括了 word2vec,seq2seq,attention,transformer 等深度学习模型

NLP 人工智能语言处理的分词，如何使用分词任务。

以上内容为【走进人工智能NLP自然语言处理的世界，NLU与NLG又是什么|人工智能nlp】的相关内容，更多相关内容关注lot物联网。