独热码

独热码,在英文文献中称做 one-hot code,直观来说就是有多少个状态就有多少比特,而且只有一个比特为1,其他全为0的一种码制。例如,有6个状态的独热码状态编码为:000001,000010,000100,001000,010000,100000。

问题

最近在做一个根据一个人的信息预测此人人品的机器学习项目:
https://github.com/Root-lee/ML_micro_loan
在项目中,数据中有上千维的特征,大部分是数值型特征,但是也有93个分类特征,在训练模型时需要将这些分类特征用OneHot编码,使得模型能正确理解这些分类特征。
所幸,著名机器学习包已经提供了独热码的编码器:preprocessing.OneHotEncoder()
我们只需要直接调用就可以了,于是我写了如下代码编码分类特征:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import pandas as pd
#对分类类型的数据进行ONEHOT编码
feature_type = pd.read_csv('G:/Redhat_share/ML_micro/features_type.csv')
category_feature = list(feature_type[feature_type.type=='category'].feature)
test = pd.read_csv('G:/Redhat_share/ML_micro/test_x.csv')
test = test[['uid']+category_feature]
train = pd.read_csv('G:/Redhat_share/ML_micro/train_x.csv')
train = train[['uid']+category_feature]

from sklearn import preprocessing
enc = preprocessing.OneHotEncoder()
enc.fit(train)
train= enc.transform(train).toarray()
train_after_oh = pd.DataFrame(train)
train_after_oh['uid']=uid

但是运行程序时却出现了错误:
error_info
OneHot编码出现ValueError: X needs to contain only non-negative integers.
错误出现在 enc.fit(train) 这一句代码上,根据报错信息,原来scikit-learn库中的onehot编码器要求分类特征是非负整数,但是我们的数据train中的分类特征的值中含有负数,所以会出现错误。

解决办法

在调用onehot编码器之前我们需要先对分类特征数据进行一点处理,将所有的值都变为非负数,可以使用如下代码实现目的:

#OneHot编码要求特征是非负整数
#先把训练数据特征的值变为非负数
uid = train.uid
train = train.drop('uid',axis=1)
features = list(train.columns)
for feature in features:
    max_ = train[feature].max()
    train[feature] = (train[feature] - max_) * (-1)

把上面这段代码放在onehot编码之前,再次运行程序错误即可消失。