怎样开始学习ai制作 | ai制作教程

【怎样开始学习ai制作 | ai制作教程】lot物联网小编为你整理了的相关内容，希望能为你解答。

由于人工智能 （AI） 的识别和学习数据模式，因此无论如何都需要足够的数据和处理能力。 AI 开发现场对处理能力的需求逐年增加，AI 开发人员必须仔细调整数百万到数十亿个参数。 印度作家兼记者安妮尔·安南萨斯瓦米（Anil Ananthaswamy）对为实现这一目标而设计的“hypernetworks”进行了介绍。

Researchers Build AI That Builds AI

https://www.quantamagazine.org/researchers-build-ai-that-builds-ai-20220125/

在构建人工智能时，在称为“优化”的流程中找到尽可能接近理想的值至关重要，但训练网络以达到此目的并不容易。 对于这种深奥的过程，在Alphabet(谷歌母公司)旗下的人工智能企业DeepMind担任调查研究员的彼得·贝里科维克阐述了hypernetworks对机器学习整体的影响，他说：“这个难度可能很快就会改变。位于加拿大的格尔夫大学的鲍里斯·奈亚泽夫（Boris Knyazev）等人设计的hypernetworks “除了加快新的训练过程之外，理论上还可能在几分之一秒内预测参数，使训练变得不必要”。

Ananthaswamy说，目前，训练和优化深度神经网络的最佳方法是随机梯度下降（SGD）技术的变体。训练涉及最小化网络在给定任务上犯的错误，例如图像识别。SGD 算法会处理大量标记数据，以调整网络的参数并减少错误或损失。梯度下降是从损失函数的高值爬升到某个最小值的迭代过程，它表示足够好（有时甚至是最好的）参数值。

但是，由于 SGD 只有在具有要优化的网络后才能运行，因此在构建新的早期神经网络时，必须依靠工程师的直觉和经验法则。 因此，Google Brain 的客座研究员 Menge Ren 和他的员工在 2018 年将深度神经网络架构视为点和点，即以节点和节点之间的线表示的数学“图形”想法为基础，设计了称为“图形超网络 （GHN）” 的新方法。 GHN 的工作原理是预测需要优化的候选体系结构的理想参数，并基于这些参数重复特定任务对候选体系结构进行排名，以选择性能最佳的体系结构。

Knyazev的hypernetworks也基于GHN的想法，Knyazev等人在2021年10月发表的论文中，不仅可以从候选体系结构中找到最佳体系结构，还可以从绝对意义上预测最佳参数。 Ren对奈亚泽夫等人的论文赞不绝口：“它包含了比我们所做的更多的实验。”据说Knyazev的团队将这个hypernetworks称为“GHN-2”。

对于一个图像数据集，GHN-2 预测和引导的分布内体系结构的平均精度为 66.9%，而 SGD 记录了接近 2500 次迭代和训练的网络的平均精度 69.2% 的数字。 随着数据集的增长，GHN-2 似乎不能很好地发挥作用，但即使如此，与SGD训练得到的精度也毫不逊色，最重要的一点是，GHN-2以压倒性的速度进行预测。 Knyazev说：“GHN-2取得了惊人的好成绩，GHN-2大大降低了能源成本。

Knyazev说，GHN-2仍有改进的余地，很难立即被采用，但如果这些超网络真的普及，新型深度神经网络的设计和开发将不再局限于拥有雄厚资金和大数据的公司。任何人都可以参与其中。Knyazev非常清楚这种“深度学习民主化”的潜力，称其为长期愿景。

以上内容为【怎样开始学习ai制作 | ai制作教程】的相关内容，更多相关内容关注lot物联网。