用于构建AI语言翻译系统的工具
在本系列文章中，我们将向您展示如何使用深度学习来创建自动翻译系统。本系列可以视为分步教程，可以帮助您了解和构建神经元机器翻译。
本系列假定您熟悉机器学习的概念：模型训练，监督学习，神经网络以及人工神经元，层和反向传播。
在上一篇文章中，我们介绍了构建基于ML的翻译器所需的主要理论概念。在本文中，我们将研究构建AI语言翻译器所需的工具。
工具和版本
多个框架提供了用于深度学习（DL）的API。到目前为止，TensorFlow+Keras组合是最受欢迎的，但是竞争性框架（例如PyTorch，Caffe和Theano）也得到了广泛使用。
这些框架经常执行黑盒方法来处理神经网络（NN），因为它们执行了大多数“魔术”操作，而无需您对NN逻辑进行编码。还有其他构建NN的方法-例如，使用深度学习编译器。
下表列出了我们将使用的Python模块的版本。可以使用命令==[version]末尾的标志来显式安装所有这些模块pip。例如：“pipinstalltensorflow==2.0”。
我们正在编写的代码应可在任何操作系统上运行，但请注意，我们正在使用Python3，因此请确保已安装它。如果您的系统同时安装了Python2和Python3，则需要在以下安装命令中运行pip3而不是pip：
TensorFlow
TensorFlow是一个非常流行的用于NN构建的Python框架。
现在您可以通过运行以下命令安装TensorFlow：
pip install tensorflow1复制代码类型：[html]
TensorFlow软件包的下载和安装可能要花费一些时间，因为它非常大-超过400MB。
要验证TensorFlow是否已成功安装，请运行：
pip show tensorflow1复制代码类型：[html]
输出应类似于以下内容：
Name: tensorflow Version: 2.3.1 Summary: TensorFlow is an open source machine learning framework for everyone. Home-page: https://www.tensorflow.org/ Author: Google Inc. Author-email: packages@tensorflow.org License: Apache 2.0 Location: /usr/local/lib64/python3.6/site-packages Requires: opt-einsum, tensorboard, termcolor, six, h5py, gast, tensorflow-estimator, google-pasta, astunparse, wrapt, grpcio, absl-py, numpy, keras-preprocessing, protobuf, wheel Required-by:1234567891011复制代码类型：[html]
重要的是要运行python3而不是简单地运行python（相同pip3而不同pip）。通常，Centos中将存在Python的默认安装，并且不得在我们的项目中使用它。
凯拉斯
Keras是运行在TensorFlow之上的深度学习API。Keras也可以在Theano等其他框架之上运行，但在这里我们选择将其与TensorFlow关联。
要安装Keras，请输入以下命令：
pip install keras1复制代码类型：[html]
要检查Keras是否已成功安装，请键入：
pip list | grep Keras1复制代码类型：[html]
大熊猫
Pandas是用于数据处理和分析的PythonAPI。除其他事项外，我们将需要它来为DL模型准备训练数据。
可以使用pip3以下命令安装Pandas库：
pip install pandas1复制代码类型：[html]
Word2Vec
我们需要Word2Vec进行单词嵌入，以支持在我们的NN中创建嵌入层。其他工具，例如GloVe或BERT，也可以完成此工作。由于BERT具有上下文依赖性，因此BERT会更高效，但集成起来要复杂得多，因此我们将使用Word2Vec来简化事情。
要安装Word2Vec，请运行：
pip install word2vec1复制代码类型：[html]
我们已经安装的工具将使我们能够构建机器翻译（MT）软件。为了解决难题，我们将：
1、处理英语词典，并让Word2Vec为英语创建自定义单词嵌入系统。
2、使用Keras构建具有长短期记忆（LSTM）单元的序列到序列递归神经网络（RNN），它对我们需要的所有内容都具有内置支持。
3、在LSTM序列到序列RNN的开始处添加Word2Vec创建的嵌入层。
4、处理英语/俄语并行语料库：对其进行清理，格式化和标记化
5、使用经过处理的英语/俄语平行语料库训练我们的DL模型。
6、用几个英语句子测试我们的NMT的翻译准确性。
我们正在构建的神经机器翻译系统的工作流程。
请记住，这不是构建AI语言翻译系统的唯一方法。例如，我们可以使用门控循环单元（GRU）单元而不是LSTM单元。我们选择上面的架构是因为它易于理解，易于训练并且运行良好。但是，一旦您掌握了基础知识，就可以探索更多的内容