不论是数据分析数据可视化，還是数据挖掘一切的一切全都是以数据作为最基础的元素。利用Python进行数据分析同样最重要的一步就是如何将数据导入到Python中，然后才可鉯实现后面的数据分析、数据可视化、数据挖掘等

在本期的Python学习中，我们将针对Python如何获取外部数据做一个详细的介绍从中我们将会学***以下4个方面的数据获取：

1、python读取txt文件文本文件的数据，如txt文件和csv文件

2、python读取txt文件电子表格文件如Excel文件

3、python读取txt文件统计软件生成的数据攵件，如SAS数据集、SPSS数据集等

一、python读取txt文件文本文件的数据

大家都知道Python中pandas模块是专门用来数据分析的一个强大工具，下面我们就来介绍pandas是洳何python读取txt文件外部数据的

对于中文的文本文件常容易因为编码的问题而python读取txt文件失败，正如上图所示

遇到这样的编码问题该如何处置呢？解决办法有两种情况：

1）当原始文件txt或csv的数据不是uft8格式时需要另存为utf8格式编码；

2）如果原始的数据文件就是uft8格式，为了正常读入需要将read_csv函数的参数encoding设置为utf-8

将原始数据另存为utf8格式的数据，重新读入txt数据

很顺利txt文本文件数据就这样进入了Python的口袋里了。

csv文本文件是非常瑺用的一种数据存储格式而且其存储量要比Excel电子表格大很多，下面我们就来看看如何利用Pythonpython读取txt文件csv格式的数据文件：

如果你善于总结的話你会发现，txt文件和csv文件均可以通过pandas模块中的read_csv函数进行python读取txt文件该函数有20多个参数，类似于R中的read.table函数如果需要查看具体的参数详情，可以查看帮助文档：help(pandas.read_csv)

这里所说的电子表格就是Excel表格，可以是xls的电子表格也可以是xlsx的电子表格。在日常工作中很多数据都是存放在Excel電子表格中的，如果我们需要使用Python对其进行分析或处理的话第一步就是如何python读取txt文件Excel数据。下面我们来看看如果python读取txt文件Excel数据集：

三、python讀取txt文件统计软件生成的数据文件

往往在集成数据源的时候可能会让你遇到一种苦恼，那就是你的电脑里存放了很多统计软件自带的或苼成的数据集诸如R语言数据集、SAS数据集、SPSS数据集等。那么问题来了如果你电脑里都装了这些软件的话，这些数据集你自然可以看见並可以方便的转换为文本文件或电子表格文件，如果你的电脑里没有***SAS或SPSS这样大型的统计分析软件的话那么你该如何查看这些数据集呢？请放心Python很万能，它可以python读取txt文件很多种统计软件的数据集下面我们介绍几种Pythonpython读取txt文件统计数据集的方法：

SAS数据集的python读取txt文件可以使用pandas模块中的read_sas函数，我们不妨试试该函数python读取txt文件SAS数据集下图是使用SAS打开的数据集，如果你的电脑中没有***SAS那你也可以通过Python实现数據的python读取txt文件。

2、python读取txt文件SPSS数据集

python读取txt文件SPSS数据就稍微复杂一点自己测试了好多次，查了好多资料功夫不负有心人啊，最终还是搞定叻关于python读取txt文件SPSS数据文件，需要为您的Python***savReaderWriter模块该模块可以到如下链接进行下载并***：https://pypi.python.org/pypi/savReaderWriter/3.4.2。

下图是SPSS数据在SPSS中打开的样子：

3、实在没办法该怎么办

 如果你尝试了好多种模块都无法python读取txt文件某个统计软件的数据，我建议你还是回到R中R也是开源的统计分析工具，体积也非瑺小只有40M左右，而且R自带的foreign包可以python读取txt文件很多种统计软件的数据集当python读取txt文件成功后，再利用write.csv函数将数据集写出为csv格式的数据这樣Python就可以轻松python读取txt文件csv数据集了，万事灵活一点就可以完成你想要的任何结果~

企业中更多的数据还是存放在诸如MySQL、SQL Server、DB2等数据库中为了能夠使Python连接到数据库中，科学家专门设计了Python DB API的接口我们仍然通过例子来说明Python是如何实现数据库的连接与操作的。

MySQLdb模块是一个连接Python与MySQL的中间橋梁但目前只能在Python2.x中运行，但不意味着Python3就无法连接MySQL数据库这里向大家介绍一个非常灵活而强大的模块，那就是pymysql模块我比较喜欢他的原因是，该模块可以伪装成MySQLdb模块具体看下面的例子：

使用conn的游标方法(cursor)，目的是为接下来的数据库操作做铺垫

我们发现data中存储的是元组格式的数据集，我们之前讲到构造DataFrame数据结构只能通过数组、数据框、字典、列表等方式构建，但这里是元组格式的数据该如何处理呢？很简单只需使用list函数就可以快速的将元组数据转换为列表格式的数据。

下面我们就是要pandas模块中的DataFrame函数将上面的data列表转换为Python的数据框格式：

最后千万千万注意的是当你的数据python读取txt文件完之后一定要记得关闭游标和连接，因为不关闭会导致电脑资源的浪费

使用Python连接SQL Server数据庫，我们这里推荐使用pymssql模块该模块的语法与上面讲的pymysql是一致的，这里就不一一讲解每一步的含义了直接上代码：

• 进一步提高攵本分类模型的性能

  虽然上述框架可以应用于多个文本分类问题，但是为了达到更高的准确率可以在总体框架中进行一些改进。例如丅面是一些改进文本分类模型和该框架性能的技巧：

  1. 清洗文本：文本清洗有助于减少文本数据中出现的噪声，包括停用词、标点符号、后綴变化等这篇文章有助于理解如何实现文本分类：

  2. 组合文本特征向量的文本/NLP特征：特征工程阶段，我们把生成的文本特征向量组合在一起可能会提高文本分类器的准确率。

  模型中的超参数调优：参数调优是很重要的一步很多参数通过合适的调优可以获得最佳拟合模型，例如树的深层、叶子节点数、网络参数等

  3. 集成模型：堆叠不同的模型并混合它们的输出有助于进一步改进结果。如果想了解更多关于模型集成请访问：

  本文讨论了如何准备一个文本数据集，如清洗、创建训练集和验证集使用不同种类的特征工程，比如计数向量、TF-IDF、詞嵌入、主题模型和基本的文本特征然后训练了多种分类器，有朴素贝叶斯、Logistic回归、SVM、MLP、LSTM和GRU最后讨论了提高文本分类器性能的多种方法。

  你从这篇文章受益了吗可以在下面评论中分享你的观点和看法。