您现在的位置是：首页 >学无止境 >Hive on Spark调优（大数据技术1）网站首页学无止境

Hive on Spark调优（大数据技术1）

菜鸟Octopus 2024-06-17 10:19:31
简介Hive on Spark调优（大数据技术1）

第1章 集群环境概述

1.1 集群配置概述

所用集群由5台节点构成，其中2台为master节点，用于部署HDFS的NameNode，Yarn的ResourceManager等角色，另外3台为worker节点，用于部署HDFS的DataNode、Yarn的NodeManager等角色。

Master节点配置为16核CPU、64G内存。

Workder节点配置为32核CPU、128G内存。

1.2 集群规划概述

具体集群规划如下图所示： 

hadoop100

hadoop101

hadoop102

hadoop103

hadoop104

master

master

worker

worker

worker

NameNode

NameNode

DataNode

DataNode

DataNode

ResourceManager

ResourceManager

NodeManager

NodeManager

NodeManager

JournalNode

JournalNode

JournalNode

Zookeeper

Zookeeper

Zookeeper

Kafka

Kafka

Kafka

Hiveserver2

Metastore

hive-client

hive-client

hive-client

Spark

Spark

Spark

Spark

DS-master

DS-master

DS-worker

DS-worker

DS-worder

Maxwell

mysql

flume

flume

风语者！平时喜欢研究各种技术，目前在从事后端开发工作，热爱生活、热爱工作。

站长推荐