高性能数据处理训练营 Hive on Spark调优与性能优化揭秘 构建高效大数据处理平台

高性能数据处理训练营 Hive on Spark调优与性能优化揭秘 构建高效大数据处理平台

课程介绍

在课程中，我学到了许多性能优化的技巧和方法。我学会了如何合理地配置Spark集群资源，优化数据倾斜问题，利用分区和分桶进行数据优化，以及如何使用索引和压缩技术提高查询效率。我还学到了如何监控和调试Hive on Spark作业，识别潜在的性能瓶颈，并采取相应的优化措施。

这门课程的亮点之一是实战训练。通过参与实际的大数据处理项目，我能够将所学的调优技巧应用到实际场景中。这使我能够更好地理解和掌握课程中所介绍的概念和技术，并加深了对Hive on Spark调优与性能优化的实际运用能力。

课程目录

├─笔记.zip
├─资料.zip
(1)\视频；目录中文件数:27个
├─01_课程介绍.mp4
├─02_基础情况说明.mp4
├─03_集群的配置和规划.mp4
├─04_Yarn的配置.mp4
├─05_Spark的配置的说明(1).mp4
├─05_Spark的配置的说明.mp4
├─06_Spark中Executor的配置.mp4
├─07_Spark中Executor的个数配置.mp4
├─08_Spark中driver的配置.mp4
├─09_Spark配置的案例实操.mp4
├─10_Hive的执行计划.mp4
├─11_启动进程.mp4
├─12_分组聚合优化的原理.mp4
├─13_分组聚合优化的实操.mp4
├─14_Join优化的说明.mp4
├─15_MapJoin的优化实操.mp4
├─16_Sort_Bucket_Join实操.mp4
├─17_数据倾斜的优化说明.mp4
├─18_分组聚合优化的方案.mp4
├─19_分组聚合优化的实操.mp4
├─20_Join倾斜的说明.mp4
├─21_Join倾斜实操1.mp4
├─22_Join倾斜实操2.mp4
├─23_并行度说明.mp4
├─24_Map端并行度的说明.mp4
├─25_Reduce端并行度的说明.mp4
├─26_小文件和其他优化.mp4