Python数据分析,系统步骤介绍!

  摘要

在用Python做数据分析的过程中,有一些操作步骤和逻辑框架是很固定的,只需要记住其用法即可。本节内容介绍Pandas模块在数据分析中的常用方法。

  内容目录

1、数据的生成与导入

2、数据信息查看

2.1、查看整体数据信息

2.2、查看数据维度、列名称、数据格式

2.3、查看数据特殊值和数值

2.3.1、查看空值

2.3.2、查看唯一值

2.3.3、查看数值

2.3.4、查看前后数据

3、数据的清洗和预处理等步骤

3.1、空值处理

3.2、空格处理

3.3、字符串大小写处理

3.4、更改数据类型和列名称

3.5、重复值处理

3.6、数据替换

3.7、数据合并和排序

3.8、数据分组

4、数据提取和筛选

4.1、按位置提取

4.2、按标签提取

4.3、按条件提取

4.4、数据筛选

5、数据汇总与统计量计算

5.1、groupby用法

5.2、数据透视表用法

5.3、数据采样

5.4、数据求均值 ,方差等

5.5、数据求相关系数

6、数据存储

6.1、存储到Execl

6.2、存储到CSV

  1、数据的生成与导入

说明:

  • 利用Pandas里面的read系列可直接读取相应格式的数据文件。

  • 生成数据直接创建一个Dataframe即可

  • 本次数据为泰坦尼克号数据

  2、数据信息查看

目的:了解数据的概况,例如整个数据表的大小、所占空间、数据格式、是否有空值和重复项,为后面的清洗和预处理做准备。

限于篇幅,只对其中一种方法进行截图展示。例:查看前五行数据

  3、数据的清洗和预处理等步骤

对清洗完的数据进行预处理整理以便后期的统计和分析工作。

例如更改列名:

数据合并:

Pandas具有功能全面的高性能内存中连接操作,与SQL等关系数据库非常相似。

合并方式:

  • inner

  • outer

  • left

  • right

组合方式:

  • left_on + right_on

  • left_on + right_index

  • left_index + right_on

  • left_index + right_index

数据排序:

数据分组

例如:把泰坦尼克号火灾等级分成:'high’,'low’

结果:

更多关于预处理请阅读:你会用Python做数据预处理吗?

  4、数据提取和筛选

  • 数据提取:使用loc和iloc配合相关函数。

  • 筛选:使用与,或,非三个条件配合大于,小于和等于对数据进行筛选。

  5、数据汇总与统计量计算

关于groupby和数据透视表请阅读:这些祝福和干货比那几块钱的红包重要的多!

相关系数结果:

  6、数据存储

(0)

相关推荐

  • 数据分析怎么学?我画了一个导图,又找到22本书

    作者:华章静老师 来源:大数据DT(ID:hzdashuju) 大家好,我是Brook 今天给大家推荐一些数据分析史上最强书单! 周末福利,文末抽奖送书 数据分析是从数据中提取信息的过程,其在各个领域 ...

  • Python Pandas是什么?Python基础入门

    近年来,随着人工智能.大数据的发展,数据分析行业迎来爆发期,人才需求持续增长,转行数据分析的人越来越多.说起数据分析,小编为大家介绍一个数据分析工具-Pandas. Pandas是什么? Pandas ...

  • 什么是Numpy?与Pandas的差异!

    Pandas和Numpy想必大家都听说过,一个是数值计算的扩展包,一个是做数据处理的,那么它们之间有何区别呢?我们通过这篇文章来看看吧. 什么是Numpy? Numpy系统是Python的一种开源的数 ...

  • Python pandas是什么?有何作用?

    Python中pandas是什么?Pandas是基于numpy的一种工具,该工具是为了解决数据分析任务而创建的. Pandas纳入了大量的库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具. ...

  • Python为什么受欢迎?有哪些数据分析库?

    Python为什么受欢迎?因为Python简单.易懂.好用,是一门高级的编程语言;除此之外,Python提供了大量的第三方库,开箱即用,方便.免费,非常适合从事数据分析领域的工作. 大家也都知道,Py ...

  • 财务数据分析神器Pandas:数据提取

    财务数据分析神器Pandas:数据提取

  • 怎样安装系统 系统安装步骤介绍【详细步骤】

    安装系统对于大师级别的人来说就是小菜一碟,但是对于新手来说这太难了.其实一般情况下,安装系统是很简单的,尤其是使用硬盘安装,相信只要您看了一下安装步骤之后就会自己安装系统了,赶快get起来吧! 现在电 ...

  • Python数据分析库-Pandas的介绍与安装

    各位客官姥爷好,欢迎回来.我们之前的内容一直围绕着正则表达式展开,这次我们就讲点别的.既然我的公众号名称叫做转行学数据分析,那么我们今天就来讲讲数据分析有关的,一个常见的Python的数据分析库--P ...

  • Python数据分析库有哪些?常见分类!

    众所周知,Python前景好.需求量大.薪资高.就业岗位多,除了基本的开发工作之外,还可以从事人工智能.数据分析.网络爬虫等岗位.那么说起数据分析,你知道Python常用数据分析库有哪些吗?我们一起来 ...

  • 0代码就能做Python数据分析,这个Jupyter插件,用起来就像Excel一样简单

    加载一个Jupyter插件后,无需写代码就能做数据分析,还帮你生成相应代码? 没错,只需要加载这个名为Mito的小工具包,用Python做数据分析,变得和用Excel一样简单: 运行速度比Excel更 ...

  • 20个python数据分析实战项目(附源码)

    20个python数据分析实战项目(附源码)

  • Pony.ai 硬件系统架构介绍

    自动驾驶是软硬件结合的系统工程,本文将为您解读Pony.ai 自动驾驶车辆的硬件架构.自研的计算系统,以及深度讲解自动驾驶行业所需的硬件技术. 01 产汽车电子电气架构回顾 传统汽车由Electron ...

  • 数据分析的步骤哪些是关键?

    一般来说数据分析师在做数据分析的时候,需要掌握良好的方法和思维,这样可以确保结果的价值性.如果数据分析师能够了解和掌握数据分析的步骤,那么可以有效的节省时间,提高工作效率.那么数据分析的步骤哪些是关键 ...

  • Python数据分析绘图过程详细讲解(附代码)

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 作者:小汤豆 来源:汤豆道课 Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 ...

  • Python | 数据分析最有用的25个 Matplotlib图

    人工智能算法与Python大数据 致力于提供深度学习.机器学习.人工智能干货文章,为AI人员提供学习路线以及前沿资讯 23篇原创内容 公众号 点上方人工智能算法与Python大数据获取更多干货 在右上 ...