【数据分析】:什么是数据分析?-程序员宅基地

技术标签: 数据分析入门到实战  数据分析  人工智能  数据挖掘  

【数据分析】:什么是数据分析?


  • 个人主页:JoJo的数据分析历险记
  • 个人介绍:统计学top3研究生
  • 如果文章对你有帮助,欢迎关注点赞收藏订阅专栏
  • 本文收录于【数据分析】本专栏介绍数据分析从入门到项目实战,包含用户分析、留存分析、行业分析 等。本系列会坚持完成下去,请大家多多关注点赞支持,一起学习~,尽量坚持每周持续更新,欢迎大家订阅交流学习!

一、什么是数据分析

随着数据时代的到来,数据分析师、数据科学家等职位越来越热门。纽约时报将数据科学家称为“21世纪最sexy”的职业。我们接下来来看看什么是数据分析。

1.什么是数据?

数据:是科学实验、检验、统计等所获得的用于科学研究、技术设计、查证、决策等的数值。

在企业中,我们每天有大量的数据产生。那么我们怎样使用这些数据呢?

首先,我们的数据有以下三个特性

  • 数据的变异性:正是因为数据的变异性,才需要我们进行数据分析。
  • 数据的规律性: 在海量的数据中,虽然表面看上去杂乱无章,但是往往存在内部的规律性,而数据分析的工作可以来发现这些规律,从而得出相应的结论。
  • 数据的客观性: 数据是通过客观产生的,并不能以我们人的意志转移,正是因为这样,数据分析才是可靠的。

2. 数据可以做什么?

在我们日常生活中,无时无刻不在使用数据。例如:每天的天气预报,就是通过历史的天气等数据信息进行预测。在当今时代,数据越来越重要。得数据者得天下。

那么对于企业运营而言,可以让我们:

  • 1.了解整体的运营情况
  • 2.了解各部门项目的情况
  • 3.未来发展趋势

对于产品开发而言:

  • 对产品定位
  • 广告投放
  • 运营策略

在不同行业有不同的应用:

电商类:电商网站有大量的用户行为数据。例如购买、点击、浏览、完单等。通过这些数据,数据分析师可以了解不同的用户的行为路径,制定相关策略来产生销量

社交类:对于社交网络数据,可以更好的进行精准推荐(推荐算法),可以改善用户服务和体验

医疗类:现在在医疗领域,数据分析也变得越来越重要,对医疗数据进行进行分析,帮助医疗结果改善卫生服务,并提高发现潜在隐患的机会。例如,疾病个性化问答,医疗知识图谱

金融类: 在金融行业,通过对用户的日常交易数据进行分析,可 以帮助信贷机构评判用户的信用等级,确定信贷额度

二、如何成为一个优秀的数据分析师?

数据分析不是一味的跑数据、建模型以及用各种高深的算法来炫技,对于一个好的数据分析师而言,一定要对业务有很好的了解。其次能够熟练的使用各种工具,以及能够有良好的沟通表达能力。

1.业务理解

对业务的理解决定了一个数据分析师的上限

  • 对行业和产品有热情:从事数据分析工作,首先必须要对 进入的行业和产品感兴趣,有好奇 心,愿意学习一切未知的知识
  • 关注对企业业务产生的价值:能够把业务和数据结合起来,尝试用数据量化业务状态和结果,能够 用数据解释潜藏的未被发现的业务逻辑
  • 多问为什么:当分析需求来的时候,要问下为什么要做这个分析,想解决什么问题。不要做无情的取数机器

2.工具使用

技术水平决定了数据分析师的下限

对于数据分析师而言,一定要掌握基本的数据分析工具:excel、Mysql、Tableau、R、Python等

  • 熟练使用各类分析模型和分析方法 :对使用的模型能清楚其优劣势;对没用过的方法能有所了解,在遇到 已有方法解决不了的问题时能够 联想到尝试其他方法是否可以解决
  • 对数据的敏感度,具有良好的统计学基础:能够及时发现数据展现的问题,指出深挖的方向;对数据的理解有很强的逻辑性和科学性
  • 掌握基本的编程语言能力:SQL/Python/R; SQL是基础 ,Python或R可以提升长期工作效 率

3.沟通表达能力

数据分析师总是需要通过说服产品和工程方面来改变产品,产生影响力

  • 能够跨部门高效沟通
  • 良好的数据可视化能力和 撰写分析报告的能力

三、数据分析的四大步骤

数据分析可以大致分为下列四个步骤:

image-20220801083702681

1.数据抓取

数据抓取也被称为数据采集,是整个数据分析工作的起点。所采集和抓取的全不全、 对不对,直接决定数据分析工作的质量,影响后续所有的环节。可能数据分析师不需要自己动手进行数据抓取,但是需要对这些数据进行规划。首先我们来看看在企业内数据的主要来源:

  • 埋点:是针对特定用户行为或事件进行捕获、 处理和发送的相关技术及其实施过程。
  • 爬虫:利用代码模拟人的行为去各个网站抓取数据
  • 程序应用接口:连接各种软件系统,为了能在各系统之间共享数据而开放的技术接口管道

如何规划数据埋点

  • 业务需求拆解,转化为数据要求,要和业务方沟通好统一要求
  • 定义数据口径和指标统计方式。
    • 对各项时间进行分类聚合
    • 确定指标的数值类型、计数方式
    • 4W1H模型选择数据

常见的数据埋点:

  • 点击
  • 曝光
  • 页面停留

下面我们来看一个小案例

京东数据埋点案例:

image-20220801084523001

首先,对业务进行拆解

  • 促销活动:查看用户转化情况
    • 页面访问
    • 领券
    • 查看详情
    • 购买
  • 新人礼包:拉新和留存情况

进行埋点选择

Who:

  • 用户的ID
  • 登录用户和非登录用户
  • 老客和新客
  • VIP和非VIP
  • 活跃和非活跃

what:

  • 点击优惠券
  • 领取优惠券
  • 使用优惠券

when

  • 客户端的时间
  • 服务器的时间(可能会受到海外时差的影响)

where

  • 活动页面

How

  • 设备、网络等

2.数据清洗

数据清洗是数据分析很重要的一环,也是数据分析中占比很大的一部分。要做的是利用有关技术如数理统计、数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数

缺失值数据

  • 根据数据信息补全
  • 特殊值、平均值、统计学模型补全
  • 直接删除(谨慎使用)

格式处理

  • 时间、日期
  • 数据错位

逻辑处理

  • 去重
  • 异常值处理

3.数据分析

数据分析是指通过某种方法和技巧,对准备好 的数据进行探索、分析,从中发现因果关系、 内部联系和业务规律等分析结果,为特定的研 究或商业目的提供参考。

image-20220801085800936

描述性分析(发生了什么?): 描述某项事物的特性。需要准确、完善甚至是实时的数据。

诊断性分析(为什么会发生?) 在对描述性数据进行评估时,诊断分析工具将使分析师能 够深入到细分的数据,从而隔离出问题的根本原因。

思考题:为什么6月份京东电商平台的订单量激增?从哪些角度去分 析?需要哪些数据?

  • 1.618活动

  • 2.流量的变化情况

  • 3.转换率的购买情况

  • 4.用户的购买频次

  • 5.爆款商品

预测性分析(将会发生什么) 对数据特征和变量的关系进行描述,基于过去的数据对未来进行预测。

规范性分析(需要做什么?) 规范模型利用对发生的事情的理解,为什么发生了这种情 况以及各种“可能发生的”分析,以帮助用户确定采取的最佳行动方案

4.业务决策

数据分析师总是需要通过说服产品和工程方面来改变产品,产生影响力

清洗的可视化和完整的报告分析: 能够把分析结果变得直观、简单、易理解;分析报告全面、有逻辑、经得住推敲;分析结论可靠、可验证

  • 要保证图表的可信性:一定要是客观的
  • 高效传达信息
  • 符合美学原则

推动产品按数据分析的结 论进行修正、落地:数据分析师总是需要通过说服产品和工程方面来改变产品,产生影响力。

撰写数据分析报告的要求

分析报告一般可以分为专题分析报告、综合分析报告和日常数据通报。

基本要求如下:

  • 介绍分析背景和分析目的
  • 说明数据来源、数据的时间区间和统计口径,如日活的定义:究竟是登录算活跃还是点击等
  • 分析逻辑清晰,可采用金字塔结构、总分总结构等
  • 既要给出结论,也要给出解决方案

数据分析的框架

  • 分析背景:简述分析或者报告的背景,为什么做,目的是什么,明 确分析报告要回答的问题
  • 名词解释:关键性指标定义是什么,为什么这么定义
  • 数据获取方法: 数据获取的时间区间,怎么获取到的数据,会有哪 些问题
  • 数据概览:重要指标的趋势,变化情况 (数据通报)
  • 数据分析:拆分问题,使用数据支撑结论
  • 结论汇总:汇总之前数据分析的主要结论,作为概览
  • 给出建议:根据数据分析的结论,给出改进建议
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_45052363/article/details/126103680

智能推荐

python opencv resize函数_python opencv 等比例调整(缩放)图片分辨率大小代码 cv2.resize()...-程序员宅基地

文章浏览阅读1.3k次。# -*- coding: utf-8 -*-"""@File : 200113_等比例调整图像分辨率大小.py@Time : 2020/1/13 13:38@Author : Dontla@Email : [email protected]@Software: PyCharm"""import cv2def img_resize(image):height, width = image...._opencv小图等比例缩放

【OFDM、OOK、PPM、QAM的BER仿真】绘制不同调制方案的误码率曲线研究(Matlab代码实现)-程序员宅基地

文章浏览阅读42次。对于这些调制技术的误码率(BER)研究是非常重要的,因为它们可以帮助我们了解在不同信道条件下系统的性能表现。通过以上步骤,您可以进行OFDM、OOK、PPM和QAM的误码率仿真研究,并绘制它们的误码率曲线,以便更好地了解它们在不同信道条件下的性能特点。针对这些调制技术的BER研究是非常重要的,可以帮助我们更好地了解这些技术在不同信道条件下的性能表现,从而指导系统设计和优化。6. 分析结果:根据误码率曲线的比较,分析每种调制方案在不同信噪比条件下的性能,包括其容忍的信道条件和适用的应用场景。_ber仿真

【已解决】Vue的Element框架,日期组件(el-date-picker)的@change事件,不会触发。_el-date-picker @change不触发-程序员宅基地

文章浏览阅读2.5w次,点赞3次,收藏3次。1、场景照抄官方的实例,绑定了 myData.Age 这个值。实际选择某个日期后,从 vuetool(开发工具)看,值已经更新了,但视图未更新。2、尝试绑定另一个值: myData,可以正常的触发 @change 方法。可能是:值绑定到子对象时,组件没有侦测到。3、解决使用 @blur 代替 @change 方法。再判断下 “值有没有更新” 即可。如有更好的方法,欢迎评论!..._el-date-picker @change不触发

PCL学习:滤波—Projectlnliers投影滤波_projectinliers-程序员宅基地

文章浏览阅读1.5k次,点赞2次,收藏8次。Projectlnliersclass pcl: : Projectlnliers< PointT >类 Projectlnliers 使用一个模型和一组的内点的索引,将内点投影到模型形成新的一个独立点云。关键成员函数 void setModelType(int model) 通过用户给定的参数设置使用的模型类型 ,参数 Model 为模型类型(见 mo..._projectinliers

未处理System.BadImageFormatException”类型的未经处理的异常在 xxxxxxx.exe 中发生_“system.badimageformatexception”类型的未经处理的异常在 未知模块。 -程序员宅基地

文章浏览阅读2.4k次。“System.BadImageFormatException”类型的未经处理的异常在 xxxx.exe 中发生其他信息: 未能加载文件或程序集“xxxxxxx, Version=xxxxxx,xxxxxxx”或它的某一个依赖项。试图加载格式不正确的程序。此原因是由于 ” 目标程序的目标平台与 依赖项的目标编译平台不一致导致,把所有的项目都修改到同一目标平台下(X86、X64或AnyCPU)进行编译,一般即可解决问题“。若果以上方式不能解决,可采用如下方式:右键选择配置管理器,在这里修改平台。_“system.badimageformatexception”类型的未经处理的异常在 未知模块。 中发生

PC移植安卓---2018/04/26_电脑软件移植安卓-程序员宅基地

文章浏览阅读2.4k次。记录一下碰到的问题:1.Assetbundle加载问题: 原PC打包后的AssetBundle导入安卓工程后,加载会出问题。同时工程打包APK时,StreamingAssets中不能有中文。解决方案: (1).加入PinYinConvert类,用于将中文转换为拼音(多音字可能会出错,例如空调转换为KongDiao||阿拉伯数字不支持,如Ⅰ、Ⅱ、Ⅲ、Ⅳ(IIII)、Ⅴ、Ⅵ、Ⅶ、Ⅷ、Ⅸ、Ⅹ..._电脑软件移植安卓

随便推点

聊聊线程之run方法_start 是同步还是异步-程序员宅基地

文章浏览阅读2.4k次。话不多说参考书籍 汪文君补充知识:start是异步,run是同步,start的执行会经过JNI方法然后被任务执行调度器告知给系统内核分配时间片进行创建线程并执行,而直接调用run不经过本地方法就是普通对象执行实例方法。什么是线程?1.现在几乎百分之百的操作系统都支持多任务的执行,对计算机来说每一个人物就是一个进程(Process),在每一个进程内部至少要有一个线程实在运行中,有时线..._start 是同步还是异步

制作非缘勿扰页面特效----JQuery_单击标题“非缘勿扰”,<dd>元素中有id属性的<span>的文本(主演、导演、标签、剧情-程序员宅基地

文章浏览阅读5.3k次,点赞9次,收藏34次。我主要用了层次选择器和属性选择器可以随意选择,方便简单为主大体CSS格式 大家自行构造网页主体<body> <div class='main' > <div class='left'> <img src="images/pic.gif" /> <br/><br/> <img src="images/col.gif" alt="收藏本片"/&_单击标题“非缘勿扰”,元素中有id属性的的文本(主演、导演、标签、剧情

有了这6款浏览器插件,浏览器居然“活了”?!媳妇儿直呼“大开眼界”_浏览器插件助手-程序员宅基地

文章浏览阅读901次,点赞20次,收藏23次。浏览器是每台电脑的必装软件,去浏览器搜索资源和信息已经成为我们的日常,我媳妇儿原本也以为浏览器就是上网冲浪而已,哪有那么强大,但经过我的演示之后她惊呆了,直接给我竖起大拇指道:“原来浏览器还能这么用?大开眼界!今天来给大家介绍几款实用的浏览器插件,学会之后让你的浏览器“活过来”!_浏览器插件助手

NumPy科学数学库_数学中常用的环境有numpy-程序员宅基地

文章浏览阅读101次。NumPy是Python中最常用的科学数学计算库之一,它提供了高效的多维数组对象以及对这些数组进行操作的函数NumPy的核心是ndarray(N-dimensional array)对象,它是一个用于存储同类型数据的多维数组Numpy通常与SciPy(Scientific Python)和 Matplotlib(绘图库)一起使用,用于替代MatLabSciPy是一个开源的Python算法库和数学工具包;Matplotlib是Python语言及其Numpy的可视化操作界面'''_数学中常用的环境有numpy

dind(docker in docker)学习-程序员宅基地

文章浏览阅读1.1w次。docker in docker说白了,就是在docker容器内启动一个docker daemon,对外提供服务。优点在于:镜像和容器都在一个隔离的环境,保持操作者的干净环境。想到了再补充 :)一:低版本启动及访问启动1.12.6-dinddocker run --privileged -d --name mydocker docker:1.12.6-dind在其他容器访问d..._dind

推荐文章

热门文章

相关标签