- 作者:韩信子@ShowMeAI
- 教程地址:https://www.showmeai.tech/tutorials/33
- 本文地址:https://www.showmeai.tech/article-detail/140
- 声明:版权所有,转载请联系平台与作者并注明出处
- 收藏ShowMeAI查看更多精彩内容
基于数据分析目前良好的发展前景,各界也出现了许多好用的功能种类丰富的数据分析工具。列举其中的一些(本系列教程将聚焦于Python,讲解如何使用Python完成全链条的数据分析过程):
一、Python
- 官网:https://www.python.org/
- 速查表:http://showmeai.tech/article-detail/98
- 图解Python教程:https://www.showmeai.tech/tutorials/56
- B站视频教程:https://www.bilibili.com/video/BV1yg411c7Nw
Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言,广泛应用于IT互联网各个领域,而近年的大数据与人工智能,机器学习/深度学习,整个生态最活跃支持度最高的编程语言也是Python。
下方是 Python速查表 主要内容:
- 变量与数据类型
- 字符串
- 列表
- Numpy数组
- 容器
- 流程控制
- 字典/列表推导式
- 遍历
- 函数定义
- 类
- 正则表达式
二、SQL
结构化查询语言(Structured Query Language)简称SQL,是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。
结构化查询语言是高级的非过程化编程语言,允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法,也不需要用户了解具体的数据存放方式,所以具有完全不同底层结构的不同数据库系统, 可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套,这使它具有极大的灵活性和强大的功能。下方是速查表主要内容:
- 基本查询 Basic Queries
- 连接 join
- 更新关联接查询 join queries
- 半连接 semi join
- 工具函数 utility functions
- 数据修改 data modification
- 索引 indexes
- 报表 Reporting
- 视图 view
三、R
R非常适用于统计和数据建模,快捷方便、易于上手。R可以在UNIX、Windows和Mac OS等各种平台上编译和运行,还提供了根据用户要求自动安装所有软件包的工具。下方是数据分析常用R库:
方向 | R库 | |
---|---|---|
数据处理 | lubridata,dplyr,ply,reshape2,string,formatR,mcmc | |
统计 | 方差分析 | aov anova |
密度分析 | density | |
假设检验 | t.test,prop.test,anova,aov | |
线性混合模型 | lme | |
机器学习 | nnet,rpart,gbm,kernlab,mboost,randomForest,tree,party,lars,boost,e1071,BayesTree,gafit,arules | |
聚类分析 | 基于划分的方法 | kmeans,pam,park,clara |
基于层次的方法 | hclust,pvclust,agnes,diana | |
基于模型的方法 | mclust | |
基于密度的方法 | dbscan | |
分类 | 决策树 | rpart,ctree |
随机森林 | forest,randomForest | |
回归 | Logistic,Poisson,glm,predict,residuals |
四、Excel
- B站视频教程:https://www.bilibili.com/video/BV1sQ4y1B71N
- B站视频教程:https://www.bilibili.com/video/BV1uL411s7bt
- B站视频教程:https://www.bilibili.com/video/BV1Jg411F7cS
Microsoft Excel是数据分析中使用最广泛的工具之一,常用函数、数据透视表、VLookUp、图表制作等功能也频繁被用于数据的预览、整理和分析。
五、Tableau
- 官网:https://www.tableau.com/
- B站视频教程:https://www.bilibili.com/video/BV1iq4y1P77U
- B站视频教程:https://www.bilibili.com/video/BV1T341117q7
Tableau有个人免费版本,可连接到任何数据源(例如Excel、公司数据仓库等),然后通过网络实时更新创建可视化效果、地图、仪表板等。
六、Apache Spark
最大的大型数据处理引擎之一,该工具在Hadoop集群中执行应用程序的内存速度快100倍,磁盘速度快10倍,该工具在数据管道和机器学习模型开发中也很流行。
七、SAS
SAS是用于数据处理和分析的编程语言和环境,该工具易于访问,并且可以分析来自不同来源的数据。
一键运行所有代码
图解数据分析系列 配套的所有代码,可前往ShowMeAI 官方 GitHub,下载后即可在本地 Python 环境中运行。能访问 Google 的宝宝也可以直接借助 Google Colab一键运行与交互学习!
下载数据分析速查表
Awesome cheatsheets | ShowMeAI速查表大全 系列包含『编程语言』『AI技能知识』『数据科学工具库』『AI垂直领域工具库』四个板块,追平到工具库当前最新版本,并跑通了所有代码。点击 官网 或 GitHub 获取~
? 数据分析相关速查表(部分):
内容 | 速查表(部分) | Github代码 |
---|---|---|
Python 3速查表 | 一键运行速查表代码 - Python | |
Numpy 速查表 | 一键运行速查表代码 - Numpy | |
Pandas 速查表 | 一键运行速查表代码 - Pandas | |
Matplotlib 速查表 | 一键运行速查表代码 - Matplotlib | |
Seaborn 速查表 | 一键运行速查表代码 - Seaborn |
拓展参考资料
- 利用Python进行数据分析·第2版
- w3schools pandas tutorial
- Kaggle的Pandas入门教程
- 十分钟入门 Pandas
- Pandas可视化教程
- Pandas官方教程
- Seaborn官方教程
ShowMeAI图解数据分析系列推荐(数据科学家入门)
- 图解数据分析(1) | 数据分析介绍
- 图解数据分析(2) | 数据分析思维
- 图解数据分析(3) | 数据分析的数学基础
- 图解数据分析(4) | 核心步骤1 - 业务认知与数据初探
- 图解数据分析(5) | 核心步骤2 - 数据清洗与预处理
- 图解数据分析(6) | 核心步骤3 - 业务分析与数据挖掘
- 图解数据分析(7) | 数据分析工具地图
- 图解数据分析(8) | Numpy - 统计与数据科学计算工具库介绍
- 图解数据分析(9) | Numpy - 与1维数组操作
- 图解数据分析(10) | Numpy - 与2维数组操作
- 图解数据分析(11) | Numpy - 与高维数组操作
- 图解数据分析(12) | Pandas - 数据分析工具库介绍
- 图解数据分析(13) | Pandas - 核心操作函数大全
- 图解数据分析(14) | Pandas - 数据变换高级函数
- 图解数据分析(15) | Pandas - 数据分组与操作
- 图解数据分析(16) | 数据可视化原则与方法
- 图解数据分析(17) | 基于Pandas的数据可视化
- 图解数据分析(18) | 基于Seaborn的数据可视化