88 优惠券
2020年3月1日到期。满 200 元可用
立即使用
立即使用
  • 参会报名
  • 课程介绍
  • 课程大纲
  • 讲师介绍
  • 课程费用
  • 手机下单 手机扫码下单

首页 > 商务会议 > IT互联网会议 > 董西成培训公开课:Hadoop与Spark大数据架构专题(2017年4月 北京站) 更新时间:2017-06-24T16:52:20

董西成培训公开课:Hadoop与Spark大数据架构专题(2017年4月 北京站)
收藏5人
分享到
官方合作

董西成培训公开课:Hadoop与Spark大数据架构专题(2017年4月 北京站) 已截止报名

会议时间: 2017-04-22 08:00至 2017-04-23 18:00结束

会议地点: 北京  详细地址会前通知   周边酒店预订

主办单位: 麦思博软件技术有限公司

行业热销热门关注看了又看 换一换

        课程介绍

        课程内容 主办方介绍


        董西成培训公开课:Hadoop与Spark大数据架构专题(2017年4月 北京站)

        董西成培训公开课:Hadoop与Spark大数据架构专题(2017年4月 北京站)宣传图

        培训特色

        当下是大数据时代,为构建大数据平台,需要对分布式数据收集,大数据存储,分布式计算,资源管理等系统有全面而又深入的理解。众所周知,大数据源自于互联网行业,目前互联网公司已有一套完善的大数据平台建设方案,大部分选用开源的Hadoop和Spark两大生态系统,本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。

        目标收益

        本课程将为大家全面而又深入的介绍大数据平台的构建流程,涉及分布式数据收集,大数据存储,资源管理及分布式计算框架等。本课程重点以Hadoop和Spark两大生态系统作为基准进行介绍,涉及Flume, HDFS, Hbase,YARN,MapReduce,Hive, Zookeeper, Spark,Storm,Spark Streaming等主流的大数据开源系统架构及应用经验。

         

        培训对象:各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。

        学员基础:了解Java语言、Linux系统;

        课程时长:2天

        查看更多

        麦思博软件技术有限公司 麦思博软件技术有限公司

        麦思博(msup)有限公司发源美国西雅图,2007年创办,是一家面向技术型组织的培训咨询机构,服务于技术团队的技能提升、软件工程的实际应用和产品品质的创新与超越。强调人员、技术、流程和管理的有机结合,注重角色岗位的技能提升与职业发展,以及技术团队复合管理与协作。每年超过1000家企业续单参与msup旗下公开课、工作坊、案例研究、国际游学等培训项目。

        课程大纲


        主题

        内容

        大数据架构概述

        1.1 大数据层级架构及各层软件设计要求,包括数据收集、存储、计算框、应用
        1.2 Hadoop生态系统概述以及版本演化,并给出版本选择建议。
        1.3 Spark生态系统概述及其特点,并与Hadoop对比

        数据收集系统Flume与Sqoop

        2. 使用flume和sqoop两个系统将外部流式数据(比如网站日志,用户行为数据等)、关系型数据库(比如MySQL、Oracle等)中的数据导入Hadoop中进行分析和挖掘

        大数据存储系统HDFS与HBase

        3.1与HDFS 1.0进行对比介绍2.0原理、特性与基本架构(快照、缓存、异构存储)。
        3.2 HBase原理,基本架构与案例分析
        3.3 HBase应用场景、原理和架构,典型应用案例(互联网、银行)

        集群资源管理与调度系统

        4. 介绍 YARN应用场景、基本架构与资源调度

        Zookeeper部署及典型应用

        5. 介绍Zookeeper是什么,基本原理及在应用

        大数据计算平台

        介绍主流的三大类大数据计算框架,分别是批处理、交互式计算和流式计算框架,并选取当下主流的开源实现进行介绍。
        6.1 批处理计算框架
        (1)MapReduce 2.0基本原理与架构、程序编写(使用java、C++、php语言)。
        (2)数据分析系统Hive与Pig应用与比较,如何使用其中的海量数据
        (3)Spark计算框架,背景及应用案例
        6.2 交互式计算框架,Impala和presto应用场景,基本架构和典型应用案例
        6.3 流式/实时计算框架,storm、Spark Streaming基本架构特点,及应用案例

        数据挖掘与机器学习库

        7. Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。

        查看更多

        讲师介绍


        董西成培训公开课:Hadoop与Spark大数据架构专题(2017年4月 北京站)

        X. Dong 董西成

        HULU

        架构师

        资深Hadoop技术实践者和研究者,拥有超过5年的Hadoop平台研发经验,曾参与商用Hadoop原型研发,以及分布式日志系统、全网图片搜索引擎、Hadoop调度器等项目的设计与研发;Spark On Yarn优化与性能增强;曾在中国云计算大会(CieCloud),世界软件大会(WOT)等担任主持人和培训讲师;目前就职于美国某著名视频公司,从事Hadoop及Spark平台相关的研发工作。

        查看更多

        课程费用

        课程费用


        课程费用:5800元/人

        查看更多

        温馨提示
        酒店与住宿: 为防止极端情况下活动延期或取消,建议“异地客户”与活动家客服确认参会信息后,再安排出行与住宿。
        退款规则: 活动各项资源需提前采购,购票后不支持退款,可以换人参加。

        还有若干场即将举行的 大数据大会

        猜你喜欢

        部分参会单位

        主办方没有公开参会单位

        邮件提醒通知

        分享到微信 ×

        打开微信,点击底部的“发现”,
        使用“扫一扫”即可将网页分享至朋友圈。

        录入信息

        请录入信息,方便生成邀请函