sklearn的predict_proba使用说明_Python

发现个很有用的方法——predict_proba

今天在做数据预测的时候用到了，感觉很不错，所以记录分享一下，以后可能会经常用到。

我的理解：predict_proba不同于predict，它返回的预测值为，获得所有结果的概率。（有多少个分类结果，每行就有多少个概率，以至于它对每个结果都有一个可能，如0、1就有两个概率）

举例：

获取数据及预测代码：

									from sklearn.linear_model import LogisticRegression

									import numpy as np

									train_X = np.array(np.random.randint(0,10,size=30).reshape(10,3))

									train_y = np.array(np.random.randint(0,2,size=10))

									test_X = np.array(np.random.randint(0,10,size=12).reshape(4,3))

									model = LogisticRegression()

									model.fit(train_X,train_y)

									test_y = model.predict_proba(test_X)

									print(train_X)

									print(train_y)

									print(test_y)

训练数据

训练结果，与训练数据一一对应：

[1 1 1 0 1 1 0 0 0 1]

测试数据：

									[[4 3 0]  #测试数据

									 [3 0 4]

									 [2 9 5]

									 [2 8 5]]

测试结果，与测试数据一一对应：

									[[0.48753831 0.51246169] 

									 [0.58182694 0.41817306]

									 [0.85361393 0.14638607]

									 [0.57018655 0.42981345]]

可以看出，有四行两列，每行对应一条预测数据，两列分别对应对于0、1的预测概率（左边概率大于0.5则为0，反之为1）

我们来看看使用predict方法获得的结果：

test_y = model.predict(test_X)
print(test_y)

输出结果：[1,0,0,0]

所以有的情况下predict_proba还是很有用的，它可以获得对每种可能结果的概率，使用predict则是直接获得唯一的预测结果，所以在使用的时候，应该灵活使用。

补充一个知识点：关于预测结果标签如何与原来标签相对应

predict_proba返回所有标签值可能性概率值，这些值是如何排序的呢？

返回模型中每个类的样本概率，其中类按类self.classes_进行排序。

其中关键的步骤为numpy的unique方法，即通过np.unique(Label)方法，对Label中的所有标签值进行从小到大的去重排序。得到一个从小到大唯一值的排序。这也就对应于predict_proba的行返回结果。

补充知识： python sklearn decision_function、predict_proba、predict

看代码~

									import matplotlib.pyplot as plt

									import numpy as np

									from sklearn.svm import SVC

									X = np.array([[-1,-1],[-2,-1],[1,1],[2,1],[-1,1],[-1,2],[1,-1],[1,-2]])

									y = np.array([0,0,1,1,2,2,3,3])

									# y=np.array([1,1,2,2,3,3,4,4])

									# clf = SVC(decision_function_shape="ovr",probability=True)

									clf = SVC(probability=True)

									clf.fit(X, y)

									print(clf.decision_function(X))

									'''

									对于n分类，会有n个分类器，然后，任意两个分类器都可以算出一个分类界面，这样，用decision_function()时，对于任意一个样例，就会有n*(n-1)/2个值。

									任意两个分类器可以算出一个分类界面，然后这个值就是距离分类界面的距离。

									我想，这个函数是为了统计画图，对于二分类时最明显，用来统计每个点离超平面有多远，为了在空间中直观的表示数据以及画超平面还有间隔平面等。

									decision_function_shape="ovr"时是4个值，为ovo时是6个值。

									'''

									print(clf.predict(X))

									clf.predict_proba(X) #这个是得分,每个分类器的得分，取最大得分对应的类。

									#画图

									plot_step=0.02

									x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1

									y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1

									xx, yy = np.meshgrid(np.arange(x_min, x_max, plot_step),

									           np.arange(y_min, y_max, plot_step))

									Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) #对坐标风格上的点进行预测，来画分界面。其实最终看到的类的分界线就是分界面的边界线。

									Z = Z.reshape(xx.shape)

									cs = plt.contourf(xx, yy, Z, cmap=plt.cm.Paired)

									plt.axis("tight")

									class_names="ABCD"

									plot_colors="rybg"

									for i, n, c in zip(range(4), class_names, plot_colors):

									  idx = np.where(y == i) #i为0或者1，两个类

									  plt.scatter(X[idx, 0], X[idx, 1],

									        c=c, cmap=plt.cm.Paired,

									        label="Class %s" % n)

									plt.xlim(x_min, x_max)

									plt.ylim(y_min, y_max)

									plt.legend(loc='upper right')

									plt.xlabel('x')

									plt.ylabel('y')

									plt.title('Decision Boundary')

									plt.show()