“未知”的数据对数据分析和可视化有什么影响?好处和坏处是什么?
补充:为什么会出现未知的数据?
首先是先弄清楚为什么会产生未知的数据?弄清楚原因之后才能更好地对症下药。未知数据产生的原因是多种多样的,其中可能是:
1、数据的采集问题:
数据在采集到的时候就是未知的,如性别保密、生日保密等;
数据在采集的时候缺少了采集的字段;
2、数据的加工问题:
在数据中间层进行加工的时候,由于考虑不周全或者特殊场景要求,在对数据进行清洗的过程中出现了数据同类合并、信息丢失的现象,如广州、深圳、四川、上海四个地区的用户中,可能会将广州、深圳合为广东,将四川、上海都并入其他;
也有可能将四川并入其他(广州、深圳、上海都是城市),这是数据在清洗的过程中出现的信息损耗,这种情况也很容易出现未知数据(因为不知道这个”其他“究竟是指哪些地区);
3、数据的可视化问题:
当数据在进行可视化操作的时候,可能会为了突出某一个字段而将其他字段都并入了其他。
其次是“未知”数据对数据分析和数据可视化会有什么样的影响?任何事物的存在都有其利与弊,所以对于这个问题我也是从辩证的角度来对它进行一个整理与总结:
好处:
1、保障了数据的完整性。
数据分析应该建立在数据的完整性、及时性与准确性上面,隐藏了未知数据或许可以给工作带来一些小方便,但是如果数据本身是残缺的,那么分析出来的结果也是值得怀疑的,毕竟缺少了数据的完整性就更别提数据的准确性了,而数据不准确的数据分析结果还可靠吗?
2、使数据分析结果更具有说服力。
其实也是完整性的一个拓展,在数据分析的过程中如果出现了问题,至少可以知道应该从哪一方面去入手解决这个问题,进而可以增加数据分析的维度,使分析报告的展示更加地饱满。
3、在数据的可视化展示中,可以减少一些维度,突出重点。
“未知”数据有时候是其他数据的合并,在数据进行可视化的时候,为了突出某一方面的重要性或者占比,我们可能会将其他数据都合并为“其他”,这是造成未知数据的一个原因之一,而这也是“未知”数据在数据可视化方面所体现出来的优点。
坏处:
1、增加了数据分析的难度。
未知数据如果只是一小部分的话就还好,但是如果未知数据达到了一个量级且无法对其进行解释,那么在进行数据分析的时候就很难进行下去了。
未知数据太多了,数据就会失去参考价值,进而容易加大数据分析的难度;
2、数据的可读性下降。
如果无法解决未知数据所包含的信息有哪些这个问题,就很容易导致数据的可读性下降。
比如说,用户的性别中男性、女性跟未知的占比,如果未知的占比过大,我们很难在结果中说明用户主要是男性居多还是女性居多。
这种情况下,由于未知数据隐藏了较多的信息,会直接导致数据的可读性严重下降。
相关推荐HOT
更多>>大数据之蛇形矩阵
我们最终要输出的是以蛇形摆放之后的字符串再按行串联在一起之后的结果,也就是说每一个字母摆放的列并不重要,重要的是摆放的行号。我们可以很...详情>>
2022-12-07 20:58:39大数据之两数相加
大数据通常包含的数据集的大小超出了常用软件工具在可容忍的经过时间内捕获、整理、管理和处理数据的能力。大数据哲学包含非结构化,半结构化和...详情>>
2022-12-07 20:56:39设计一个实时的流式计算Wordcount
使用Kafka对接SparkStreaming计算,那么要保证数据不丢失,和不重复的话,要使用直连方式,并且保证一次性语义,手动管理Offset即可,那么在实...详情>>
2022-12-07 20:54:49大数据之最长回文串
大数据通常包含的数据集的大小超出了常用软件工具在可容忍的经过时间内捕获、整理、管理和处理数据的能力。大数据哲学包含非结构化,半结构化和...详情>>
2022-12-07 20:51:53两两交换链表中的节点
大数据通常包含的数据集的大小超出了常用软件工具在可容忍的经过时间内捕获、整理、管理和处理数据的能力。大数据哲学包含非结构化,半结构化和...详情>>
2022-12-07 20:46:54大数据培训问答更多>>
新大数据都学什么?5大核心知识必学内容有哪些
新大数据报班多少钱?如何选择培训机构
新人工智能学什么?自学可以成才吗
新数据处理包括哪些内容?是不是所有课程需要分别报课
新大数据分析需要学什么?怎么学比较好
新人工智能专业学什么?人工智能有哪些课程
新大数据数据分析师要学什么?好就业吗
大数据面试题库 更多>>
大数据的五个V是什么?
数据及集群管理(三)
数据及集群管理(二)
数据及集群管理(一)
大数据之hbase的优化读数据方面
大数据之hbase的优化写入数据方面
- 北京校区
- 大连校区
- 广州校区
- 成都校区
- 杭州校区
- 长沙校区
- 合肥校区
- 南京校区
- 上海校区
- 深圳校区
- 武汉校区
- 郑州校区
- 西安校区
- 青岛校区
- 重庆校区
- 太原校区
- 沈阳校区
- 南昌校区
- 哈尔滨校区