从零开始学Python_光环大数据python培训

http://hadoop.aura-el.com 从零开始学Python_光环大数据python培训

一、频数统计

我们以被调查用户的收入数据为例，来谈谈频数统计函数value_counts。

频数统计，顾名思义就是统计某个离散变量各水平的频次。

这里统计的是性别男女的人数，是一个绝对值，如果想进一步查看男女的百分比例，可以通过下面的方式实现：

而在R语言中，table函数就是起到频数统计的作用，另外还提供了更加灵活的prop.table函数，可以直接求出比例。

如上是单变量的频数统计，如果需要统计两个离散变量的交叉统计表，该如何实现？不急，pandas模块提供了crosstab函数，我们来看看其用法：

R语言的话，任然使用table函数即可。

二、缺失值处理

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训

http://hadoop.aura-el.com 在数据分析或建模过程中，我们希望数据集是干净的，没有缺失、异常之类，但面临的实际情况确实数据集很脏，例如对于缺失值我们该如何解决？一般情况，缺失值可以通过删除或替补的方式来处理。首先是要监控每个变量是否存在缺失，缺失的比例如何？这里我们借助于pandas模块中的isnull函数、dropna函数和fillna函数。

首先，我们手工编造一个含缺失值的数据框：

其次，使用isnull函数检查数据集的缺失情况：

最后，对缺失数据进行处理： 删除法

dropna函数，有两种删除模式，一种是对含有缺失的行(任意一列)进行删除，另一种是删除那些全是缺失(所有列)的行，具体如下：

由于df数据集不存在行全为缺失的观测，故没有实现删除。 替补法

fillna函数提供前向替补、后向替补和函数替补的几种方法，具体可参见下面的代码示例：

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训

http://hadoop.aura-el.com

再来看看R语言是如何重现上面的操作的：

不幸的是，R中没有删除每行元素都是缺失的观测，我们自定义个函数也可以实现：

关于缺失值的替补，在R语言中可以使用Hmisc包中的impute函数，具体操作如下：

三、数据映射

大家都知道，Python和R在做循环时，效率还是很低的，如何避开循环达到相同的效果呢？这就是接下来我们要研究的映射函数apply。该函数的目的就是将用户指定的函数运用到数据集的纵轴即各个变量或横轴即各个行。

例如以上面的统计数据集df各行和各列是否存在缺失为例，原先是这样的：

现在通过映射函数可以这样简介而快速的实现：

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训

http://hadoop.aura-el.com

再如，需要计算每个学生的总成绩，或各科的平均分，也可以用apply函数实现：

在R语言中，实现上述映射操作的函数有很多，这里就以sapply和apply两个函数为例：

如图所示，如果需要统计数据集每行的某个值，需要先将数值型的数据框转化为矩阵，然后基于矩阵使用apply函数。

四、数据汇总

如果你想要做类似SQL中的聚合操作，pandas也提供了实现该功能的函数，即groupby函数与aggregate函数的搭配使用，我们以上面的收入数据集为例作为演示：

以上结果，默认会对所有数值型变量作性别的均值统计。

学会使用Python的pandas模块对数据进行聚合了，那接下来看看R语言又

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训

http://hadoop.aura-el.com 是如何实现的：

R语言的实现数据的聚合操作需要下载dplyr包，并结合group_by函数和summarize函数。

今天我们的内容就介绍到这边，欢迎大家拍砖。下期我们来聊聊pandas模块的数据框DataFrame第四部分。主要涉及多个数据集之间的合并和连接、哑变量生成和连续数值的区间化操作。

为什么大家选择光环大数据！

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请大数据领域具有多年经验的讲师，提高教学的整体质量与教学水准。讲师团及时掌握时代的技术，将时新的技能融入教学中，让学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生较快的掌握技能知识，帮助莘莘学子实现就业梦想。

光环大数据启动了推进人工智能人才发展的“AI智客计划”。光环大数据专注国内大数据和人工智能培训，将在人工智能和大数据领域深度合作。未来三年，光环大数据将联合国内百所大学，通过“AI智客计划”，共同推动人工智能产业人才生态建设，培

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训

http://hadoop.aura-el.com 养和认证5-10万名AI大数据领域的人才。

参加“AI智客计划”，享2000元助学金！

【报名方式、详情咨询】

光环大数据网站报名：http://hadoop.aura-el.com 手机报名链接：http:// hadoop.aura-el.com /mobile/

光环大数据 http://hadoop.aura-el.com