`
小灯笼
  • 浏览: 6225 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

基于Hadoop离线大数据分析平台项目实战

阅读更多
基于Hadoop离线大数据分析平台项目实战
网盘地址:https://pan.baidu.com/s/13vOi8WphetCiRtHhOCUdGg 密码: kt99
备用地址(腾讯微云):https://share.weiyun.com/5wdYJSk 密码:jjmx9p

课程简介:
某购物电商网站数据分析平台,分为收集数据、数据分析和数据展示三大层面。其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理,此项目真实的展现了大数据在企业中实际应用。


课程内容
(1)文件收集框架 Flume
①Flume 设计架构、原理(三大组件)
②Flume 初步使用,实时采集数据
③实际案例:使用Flume监控数据,实时收集存储HDFS中

(2)大数据分析平台架构
①数据平台三大模块
让技术产生价值!
②分析平台业务数据
③大数据平台技术选型和搭建配置测试

(3)数据分析平台七大业务分析
①具体的七大业务分析,针对不同的数据
②将数据收到 HDFS/Hive/HBase,使用MapReduce和Hive离线分析,其中涉及地域分析、用户相关信息分析及外链分析等。
③依据业务深入MapReduce使用
④数据处理时,针对不同问题如何优化调整等
分享到:
评论

相关推荐

    2020handoop与大数据完整教程资源,内附文件解压密码.txt

    本资源是完整的大数据学习资源,包含DKHPlantform、段海涛Hadoop全教程、大数据开发之Hadoop工程师全套课程、所有资料一次下载,没有二次收费!

    Hadoop+Spark生态系统操作与实战指南.epub

    本书用于Hadoop+Spark快速上手,全面解析Hadoop和Spark生态系统,通过原理解说和实例操作每一个组件,让读者能够轻松跨入大数据分析与开发的大门。  全书共12章,大致分为3个部分,第1部分(第1~7章)讲解Hadoop的...

    Hadoop实战 中文版

    纵情享受海量数据之美!揭开云计算的神秘面纱!深入分析,追本溯源!作为云计算所青睐的分布式架构,hadoop 是一个用java 语言... 《hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考。

    大数据 hive 实战数据

    包含video user数据

    Hadoop实战中文版

    《Hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考。书籍目录: 第一部分 Hadoop——一种分布式编程框架 第1章 Hadoop简介 1.1 为什么写《Hadoop 实战》 1.2 什么是Hadoop 1.3 ...

    免费[0基础实战]基于大数据的洋葱数据分析可视化平台

    平台是基于Django搭建的后端,前端使用Bootstrap+Echarts完成的,数据库采用MySQL,大数据使用Hadoop的HDFS和Spark来完成的,采用离线分析。 数据源是csv文件,Django通过pandas读入,ORM录入MySQL。在Spark Shell...

    Hadoop实战中文版.PDF

    《Hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考。目录编辑第一部分 Hadoop——一种分布式编程框架第1章 Hadoop简介 21.1 为什么写《Hadoop 实战》 31.2 什么是Hadoop ...

    Hadoop实战丛书

    本书是一本系统且极具实践指导意义的hadoop工具书和参考书。内容全面,对hadoop整个技术体系进行了全面的讲解,不仅包括hdfs和... 《Hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考。

    传智播客大数据培训

    离线数据分析 实时数据分析 Scala函数式编程 Spark内存计算 机器学习增强 离线部分课程主要包括:hadoop、hive、flume、azkban、hbase等以及项目实战 实时部分课程主要包括:storm、kafka、redis以及项目实战 内存...

    【推荐】最强大数据学习与最佳实践资料合集(基础+架构+数仓+治理+案例)(100份).zip

    快手离线数据全链路分级保障平台化建设 快手万亿级实时 OLAP 平台的建设与实践 ClickHouse在快手的大规模应用与架构改进 美团点评酒旅数据仓库建设实践 美团酒旅数据治理实践 美团外卖为何使用Doris创建数据仓库 ...

    大数据开发实战:SparkStreaming流计算开发

    Storm以及离线数据平台的MapReduce和Hive构成了Hadoop生态对实时和离线数据处理的一套完整处理解决方案。除了此套解决方案之外,还有一种非常流行的而且完整的离线和实时数据处理方案。这种方案就是Spark。Spark本质...

    大数据防爬虫项目开发实战

    上百节课详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 ⽬标: 了解反爬⾍项⽬的背景各⼤售票⽹⽹站对外提供了购票,查票⻔户,吸引正常⽤户的同时,也...7.爬⾍分析性能的计算与监控、离线指标分析

    大数据必看经典书籍:大数据从入门到深入书籍推荐.pdf

    第⼆阶段,主要是Linux&Hadoop⽣态体系的学习,对于Linux体系、Hadoop离线计算⼤纲、分布式数据库Hbase、数据仓库Hive、数据 迁移⼯具Sqoop、Flume分布式⽇志框架等要逐步去学习掌握。 推荐书籍: 《Big Data》 在...

    2013中国数据大会ppt(2)

    为方便大家阅读,已将ppt转换为pdf格式 下附目录: 大数据革命.pdf MPP NewSQL 数据库集群支撑企业超大规模数据...云端漫步——利用Amazon AWS构建可伸缩的数据分析平台.pdf 分享dba团队管理和发展.pdf DBA团队管理.pdf

    2013中国数据库大会ppt(1)

    为方便大家阅读,已将ppt转换为pdf格式 下附目录: 大数据革命.pdf MPP NewSQL 数据库集群支撑企业超大规模数据...云端漫步——利用Amazon AWS构建可伸缩的数据分析平台.pdf 分享dba团队管理和发展.pdf DBA团队管理.pdf

    2013中国数据库大会ppt(3)

    为方便大家阅读,已将ppt转换为pdf格式 下附目录: 大数据革命.pdf MPP NewSQL 数据库集群支撑企业超大规模数据...云端漫步——利用Amazon AWS构建可伸缩的数据分析平台.pdf 分享dba团队管理和发展.pdf DBA团队管理.pdf

    kafka的安装部署(实战)

    对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

    2013年中国数据库大会PPT第一部分

    10.腾讯在线交易平台统一数据层高一致性解决方案.pdf 11.NoSQL一致性实践:我对CAP的一点认识.pdf 12.MongoDB at Qihoo 360.pdf 13.MySQL Cluster实战初探 .pdf 14.SAP HANA深度剖析.pdf 15.eXtremeDB内存数据库性能...

    大数据电信客服案例教程

    本课程中,你将学习到,项目架构搭建,数据生产,数据消费,数据分析,以及数据展示等项目核心业务功能的实现。学习过程中,我们将使用Flume,Kafka,HBase,Hadoop,Echarts,Crontab等大数据框架完成整个业务的实现...

Global site tag (gtag.js) - Google Analytics