python机器学习之神经网络实现_Python

python机器学习之神经网络实现

2021-04-07 00:11Yaniesta Python

这篇文章主要为大家详细介绍了python机器学习之神经网络的实现方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

神经网络在机器学习中有很大的应用，甚至涉及到方方面面。本文主要是简单介绍一下神经网络的基本理论概念和推算。同时也会介绍一下神经网络在数据分类方面的应用。

首先，当我们建立一个回归和分类模型的时候，无论是用最小二乘法（ols）还是最大似然值（mle）都用来使得残差达到最小。因此我们在建立模型的时候，都会有一个loss function。

而在神经网络里也不例外，也有个类似的loss function。

对回归而言：

python机器学习之神经网络实现

对分类而言：

python机器学习之神经网络实现

然后同样方法，对于w开始求导，求导为零就可以求出极值来。

关于式子中的w。我们在这里以三层的神经网络为例。先介绍一下神经网络的相关参数。

python机器学习之神经网络实现

第一层是输入层，第二层是隐藏层，第三层是输出层。

在x1，x2经过w1的加权后，达到隐藏层，然后经过w2的加权，到达输出层

其中，

python机器学习之神经网络实现

我们有：

python机器学习之神经网络实现

至此，我们建立了一个初级的三层神经网络。

当我们要求其的loss function最小时，我们需要逆向来求，也就是所谓的backpropagation。

我们要分别对w1和w2进行求导，然后求出其极值。

从右手边开始逆推，首先对w2进行求导。

代入损失函数公式：

python机器学习之神经网络实现

然后，我们进行化简：

python机器学习之神经网络实现

化简到这里，我们同理再对w1进行求导。

python机器学习之神经网络实现

我们可以发现当我们在做bp网络时候，有一个逆推回去的误差项，其决定了loss function 的最终大小。

在实际的运算当中，我们会用到梯度求解，来求出极值点。

python机器学习之神经网络实现

总结一下来说，我们使用向前推进来理顺神经网络做到回归分类等模型。而向后推进来计算他的损失函数，使得参数w有一个最优解。

当然，和线性回归等模型相类似的是，我们也可以加上正则化的项来对w参数进行约束，以免使得模型的偏差太小，而导致在测试集的表现不佳。

python机器学习之神经网络实现

python 的实现：

使用了keras的库

解决线性回归：

									model.add(dense(1, input_dim=n_features, activation='linear', use_bias=true))

									# use mean squared error for the loss metric and use the adam backprop algorithm

									model.compile(loss='mean_squared_error', optimizer='adam')

									# train the network (learn the weights)

									# we need to convert from dataframe to numpyarray

									history = model.fit(x_train.values, y_train.values, epochs=100, 

									     batch_size=1, verbose=2, validation_split=0)

解决多重分类问题：

									# create model

									model = sequential()

									model.add(dense(64, activation='relu', input_dim=n_features))

									model.add(dropout(0.5))

									model.add(dense(64, activation='relu'))

									model.add(dropout(0.5))

									# softmax output layer

									model.add(dense(7, activation='softmax'))

									model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

									model.fit(x_train.values, y_train.values, epochs=20, batch_size=16)

									y_pred = model.predict(x_test.values)

									y_te = np.argmax(y_test.values, axis = 1)

									y_pr = np.argmax(y_pred, axis = 1)

									print(np.unique(y_pr))

									print(classification_report(y_te, y_pr))

									print(confusion_matrix(y_te, y_pr))

当我们选取最优参数时候，有很多种解决的途径。这里就介绍一种是gridsearchcv的方法，这是一种暴力检索的方法，遍历所有的设定参数来求得最优参数。

									from sklearn.model_selection import gridsearchcv

									def create_model(optimizer='rmsprop'):

									 model = sequential()

									 model.add(dense(64, activation='relu', input_dim=n_features))

									 model.add(dropout(0.5))

									 model.add(dense(64, activation='relu'))

									 model.add(dropout(0.5))

									 model.add(dense(7, activation='softmax'))

									 model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy'])

									 return model

									model = kerasclassifier(build_fn=create_model, verbose=0)

									optimizers = ['rmsprop']

									epochs = [5, 10, 15]

									batches = [128]

									param_grid = dict(optimizer=optimizers, epochs=epochs, batch_size=batches, verbose=['2'])

									grid = gridsearchcv(estimator=model, param_grid=param_grid)

									grid.fit(x_train.values, y_train.values)