【雷火UX×华科】《大数据与推荐算法》第2课：分布式运算与数据集群

2022年10月22日上午，雷火UX用户体验中心数据挖掘部的好好，为华中科技大学计算机学院课程《大数据与推荐算法通识》做主题为“分布式运算与数据集群”的讲授。当天的课程分几部分进行：Docker的应用、Hadoop及其组件、数据仓库Hive、游戏大数据场景下的大数据应用。公众号为大家进行整理分享。

Docker的应用

在企业日常后台开发中，容器是必不可少的工具之一。容器完全采用沙箱的机制，能够有效地隔绝环境，保证程序在容器中运行的稳定性。Docker作为容器的典型代表，在日常工作中被广泛使用。本节就容器的工作方式、容器与虚拟机的区别、容器的作用等方面详细进行了介绍，为本课程后续阶段的学习环境搭建做好铺垫。

Hadoop及其组件

海量数据场景下，单机场景很难有效地应对大数据时代，分布式系统由此而生。本节内容主要讲述了分布式系统的工作原理，如何分布，如何保证数据可靠性，以及如何平衡一致性和可用性。同时，说到Hadoop，它是大数据开发中应用最广泛的分布式框架，也是大部分大数据开发、计算、分析的基础。

本小节还就Hadoop的架构、原理等方面进行了分析，同时介绍了Hadoop的储存组件HDFS，以及计算组件MapReduce，并概要介绍了Spark等内容。重点在于MapReduce这一计算框架，用于铺垫后续的Hive环节教学。

数据仓库Hive

本模块中，就Hadoop框架中的数据仓库Hive进行了详细介绍。介绍主要围绕Hive的架构以及Hive的原理进行，分析了Hive如何转换为MapReduce的过程，并且分析了数据仓库和数据库的区别，同时也介绍了OLAP和OLTP两大在线计算技术的异同。

游戏大数据场景下的大数据应用

最后阶段的课程，主要围绕着雷火UX日常工作中的大数据开发应用做了概要介绍，包括ETL过程、数据分析挖掘、Spark的图计算等方面。旨在给同学们分享企业中的大数据处理经验，让同学们了解相关技术如何落地、应用，而不是纸上谈兵空学理论。

小结

本节课程深度结合了理论与具体业务实践，通过专业角度讲解，帮助同学们更好的理解大数据在游戏业务中的应用，把握该领域创新实践方向，启发大家对未来大数据应用场景的思考，同学们纷纷表示受益匪浅。上课过程中同学们踊跃提出问题并积极展开讨论，气氛十分活跃，课堂效果也得到了同学们的认可。

【雷火UX × 华中科技大学】

雷火UX与华中科技大学计算机学院《大数据与推荐算法》课程安排：

第1课（10月15日）大数据概述与推荐算法通识

第2课（10月22日）分布式运算与数据集群

第3课（10月29日）离线与实时计算技术

第4课（11月05日）大数据下构建游戏玩家画像

第5课（11月12日）传统机器学习模型游戏实践

第6课（11月19日）深度学习模型游戏实践

第7课（11月26日）策略与算法服务

第8课（12月03日）大数据与推荐算法大作业

雷火UX与华中科技大学合作课程——《大数据与推荐算法》于2022年10月15日正式开课。该系列课程专为华中科技大学计算机学院设立，由网易雷火UX数据挖掘部优秀讲师团队进行讲授，共分为8次进行，旨在帮助激发同学们对大数据及推荐算法的探索和学习兴趣。课程信息发布后，华科计算机学院学生报名十分热情，最终共有120名研究生和本科生报名了本次课程。

通过该系列课程，网易雷火UX的讲师团队将带领同学们体验和学习企业大数据及算法应用开发场景，并结合雷火UX的实际业务案例让同学们更深入地理解大数据生态以及个性化推荐算法的价值，进而帮助同学们提升大数据及算法方面的专业能力，实现职业能力的早期拓展和准备。