级别: 小愚愚
UID: 130384
精华: 0
发帖: 4
威望: -5 点
积分转换
愚愚币: 1 YYB
在线充值
贡献值: 0 点
在线时间: 1(小时)
注册时间: 2020-11-22
最后登录: 2021-12-27
楼主  发表于: 2021-11-17 13:27

 分享一本大数据采集与处理好书

计算技术的进步,以及移动互联网、物联网、5G移动通信技术的发展,引发了数据规模的爆发式增长。大数据蕴含巨大价值,引起了社会各界的高度**************。大约从2009年开始,“大数据”成为互联网信息技术行业的流行词汇。在经历了几年的批判、质疑、讨论、炒作之后,大数据终于迎来了属于它的时代。
大数据时代将在众多领域中掀起变革的巨浪。在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。大数据的能量是不可估量的,比如在2020年,大数据分析技术在新冠肺炎疫情预测、密切接触者追踪方面都产生了至关重要的作用,大大提升了疫情防控和复工复产的效率。
然而,调查显示:未被使用的信息比例高达99%,造成这种结果的主要原因是无法采集高价值的信息。如何从大数据中采集有用的信息并合理地存储起来是大数据发展的最关键因素之一,也可以说数据采集与处理是大数据产业的基石。
目前,大数据方面的著作、系列教材很多,但专门论述大数据采集与处理方面的书籍不多。在此背景下,考虑到大数据应用与行业及企业的结合紧密,以及在大数据技术学习和教学中,应更偏向新技术的应用,对工程实践能力要求更高,河南工业大学软件学院副院长张雪萍教授组织多家单位大数据应用的一线研发工程师,总结多年研发经验,编写《大数据采集与处理》一书。
《大数据采集与处理》内容贯穿大数据采集与处理的全过程,采用“理论基础+工具+案例实战” 的编排架构,系统化讲解了大数据采集、大数据预处理、大数据存储与计算、大数据安全等重要环节的相关理论与技术,包括Hadoop生态系统,Scribe、Chukwa、Kafka、Flume等大数据采集工具,HDFS、NoSQL、ElasticSearch 3种大数据存储技术,Spark String、Storm、Flink3种流计算处理框架等;聚焦电商、金融、电信、煤炭、交通、教育等行业热点问题,实例化的讲解了大数据采集与处理的理论与技术在行业实践中的具体应用,展示了完整的数据采集、清洗、处理的数据分析案例,以期给读者展示完整的数据采集与处理实践操作流程。


以上内容摘自《大数据采集与处理》一书

分享:

愚愚学园属于纯学术、非经营性专业网站,无任何商业性质,大家出于学习和科研目的进行交流讨论。

如有涉侵犯著作权人的版权等信息,请及时来信告知,我们将立刻从网站上删除,并向所有持版权者致最深歉意,谢谢。