python tfidf特征变换_机器学习的“万能模板” - 数据分析

最后是文本变量。很遗憾Titanic数据集中没有合适的文本变量。一般我们处理文本变量的方法是，合并所有的文本形成一个变量，然后调用Count Vectorizer或者TfidfVectorizer算法，将文本数据转换成数字。

大部分情况下，TfidfVectorizer比CountVectorizer表现更好；而且，下面一组参数几乎任何时候都有效。

如果你只在训练集上使用这些文本向量，请把它们保存到磁盘，以便在验证集上继续使用。

3. 正则化特征，特征选择

然后，我们来到了栈模块(stack module)，这里的栈不是模型栈而是特征栈。在经过上一步的处理后，我们得到了不同的特征。

根据你得到的是稠密特征还是稀疏特征，你可以使用numpy模块的hstack或者sparse hstack把所有特征存进一个栈。

如果还有其他处理过程，比如PCA或者特征选择，我们还可以使用FeatureUnion模块。本文后面会继续提到分解和特征选择。

有了上面的特征，我们就可以开始应用机器学习模型了。现阶段，你只需要考虑基于树的模型就足够了。这些模