1. YARN 的组件以及架构 1.1 Container Container是Yarn框架的计算单元，是具体执行应用task（如map task、reduce task）的基本单位。Container和集群节点的关系是：一个节点会运行多个Container，但一个Container不会跨节点。 任何一个job或application必须运行在一个或多个Container中，在Yarn...
HIVE:JOIN原理、优化
1. Join原理 有两个表User、Order如上，进行Join操作 SELECT u.name, o.orderid FROM user u JOIN order o ON u.uid = o.uid; Hive会将On之后的条件作为Key，将Select的字段作为Value，构建（Key,Value），同时为每张表打...
HDFS系统详解
目录 HDFS设计原理 HDFS核心概念 上传 1. HDFS设计原则 1.1 设计目标 存放非常大的文件 采用流式数据的访问方式；一点一点的读，而不是一次读全部 运行在商业集群上面 1.2 HDFS不适用场景类型 低延迟访问 对延时要求在毫秒级别的应用，不适合采用HDFS。HDFS是为高吞吐数据传输设计的,因...
Hive基础操作
创建数据库 cearte database [if not exists] db.hive; 表的相关操作 -- 创建表 create table [if not exists] student( name string, age int, score int) row format delimited fileds terminated by '\t'; ...
Hive配置安装
1. 安装Mysql 在集群中选择一台节点进行安装mysql yum -y install mariadb-server mariadb 开启服务并配置开机自启 systemctl start mariadb.service systemctl enable mariadb.service ...
Hadoop集群配置
[TOC] 1.多台机器ssh免密配置 修改用户名 # 1.更改hostname hostnamectl --static set-hostname <主机名> scp传输文件 scp <文件路径> <目标账号@地址>: 目标路径 scp /etc/hosts root@hadoop2: /etc/ ssh免密登录 # 配置公钥 ssh-ke...