页面树结构

2017-11-09 ApacheCN 开源组织,第二期邀请成员活动,一起走的更远 : http://www.apachecn.org/member/209.html


MachineLearning 优酷地址 : http://i.youku.com/apachecn

转至元数据结尾
转至元数据起始

在训练scikit-learn模型之后,最好有一种方式来持续模型以供将来使用,而无需重新训练。以下部分将为您提供如何使用pickle持久保留模型的示例。在使用pickle序列化时,我们还将回顾几个安全性和可维护性问题。

持久化示例

可以通过使用Python的内置持久化模型(即pickle)将模型保存在scikit中:

>>> from sklearn import svm
>>> from sklearn import datasets
>>> clf = svm.SVC()
>>> iris = datasets.load_iris()
>>> X, y = iris.data, iris.target
>>> clf.fit(X, y)  
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
    decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',
    max_iter=-1, probability=False, random_state=None, shrinking=True,
    tol=0.001, verbose=False)

>>> import pickle
>>> s = pickle.dumps(clf)
>>> clf2 = pickle.loads(s)
>>> clf2.predict(X[0:1])
array([0])
>>> y[0]
0

 

在scikit的具体情况下,使用joblib替代pickle(joblib.dumpjoblib.load)可能会更有趣,对于在内部携带大量numpy数组的对象来说,效率更高,就像拟合的scikit-learn估计器一样,但只能使用腌制到磁盘而不是字符串:

>>> from sklearn.externals import joblib
>>> joblib.dump(clf, 'filename.pkl') 

 

之后,您可以加载腌制模型(可能在另一个Python进程中):

>>> clf = joblib.load('filename.pkl') 

 

注意: joblib.dump并且joblib.load函数也接受类似文件的对象而不是文件名。有关Joblib的数据持久性的更多信息,请点击此处

 

安全性和可维护性限制

pickle(和joblib扩展),在可维护性和安全性方面存在一些问题。因为这个,

  • 不要打开不受信任的数据,因为它可能导致恶意代码在加载时执行。
  • 虽然使用一个版本的scikit-learn保存的模型可能会在其他版本中加载,但这完全不受支持和不合适。还应该记住,对这些数据执行的操作可能会产生不同的和意想不到的结果。

为了用未来版本的scikit-learn重建类似的模型,应该沿着腌制模型保存额外的元数据:

  • 训练数据,例如对不可变快照的引用
  • 用于生成模型的python源代码
  • scikit学习版本及其依赖
  • 训练数据获得的交叉验证得分

这样可以检查交叉验证分数与以前相同的范围。

如果你想更多地了解这些问题,并探索其他可能的序列化方法,请参考Alex Gaynor的这个 话题

 

  • 无标签