今天遇到需要归一化多维数组的问题,但是在网上查阅了很多资料都是归一化数组的一行或者一列,对于怎么归一化一个多维数组的资料比较少,可是在tensorflow中为了训练神经网络常常需要用到多维数据。因此归一化多维数组非常有必要。
在查阅了大量资料之后发现在sklearn库中的preprocessing可以直接归一化多维数组。
1、使用sklearn.preprocessing.scale()函数,对给定数据进行标准化:具体公式是(x - mean)/std。其含义是:对每一列的数据减去这一列的均值,然后除以这一列数据的标准差。最终得到的数据都在0附近,方差为1。具体程序示例如下:
from sklearn import preprocessing data_normal = preprocessing.scale(data)#data是多维数据
2、使用sklearn.preprocessing.StandardScaler类,这个类可以计算每一列数据的均值和方差,并根据均值和方差直接把原始数据归一化。简单示例如下:
from sklearn import preprocessing #计算原始数据每行和每列的均值和方差,data是多维数据 scaler = preprocessing.StandardScaler().fit(data) #得到每列的平均值,是一维数组 mean = scaler.mean_ #得到每列的标准差,是一维数组 std = scaler.std_ #标准化数据 data_nomal = scaler.transform(data) #可以直接使用训练集对测试集数据进行转换 scaler.transform([[-1., 1., 0.]])
3、sklearn.preprocessing.MinMaxScaler类把数据缩放到一个指定的范围。具体示例如下:
from sklearn import preprocessing min_max_scaler = preprocessing.MinMaxScaler() #标准化训练集数据 data_train_nomal = min_max_scaler.fit_transform(data_train) #对测试集数据进行相同的归一化处理 data_test_minmax = min_max_scaler.transform(data_test) #获取缩放因子属性,结果是一维数组 min_max_scaler.scale_ min_max_scaler.min_
4、附sklearn.preprocessing还可以做正则化
(1)preprocessing.normalize()对数据做正则化转换
data_normalized = preprocessing.normalize(data, norm='l2')
(2)preprocessing.Normalizer()先拟合数据再对数据进行正则化变换
normalizer = preprocessing.Normalizer().fit(data) #拟合原始数据,data是多维数组 normalizer.transform(data) #正则化