Transcript hadoop dfsadmin –safemode enter

管理Hadoop
HDFS
监控
维护
HDFS
永久性数据结构
安全模式
日志审计
HDFS ：永久性数据结构
namenode的目录结构：
dfs.name.dir
VERSION
namespaceID
cTime
storageType
HDFS ：文件系统映像和编辑日志
namenode维护文件系统的元数据
fsimage文件是文件系统的一个永久检查点
HDFS ：文件系统映像和编辑日志
由于需要恢复编辑日志中的各项操作，会导致namenode重启操作
较慢。此时间内，文件系统将处于离线状态。
运行辅助namenode
HDFS ：文件系统映像和编辑日志
创建检查点的过程
HDFS ：辅助namenode
辅助namenode的目录结构
HDFS ：datanode
datanode的目录结构
HDFS ：安全模式
在安全模式下，namenode的文件系统对于客户端来说是只读的
HDFS ：安全模式
查看namenode是否进入安全模式：
%hadoop dfssdmin –safemode get
Safe mode is ON
退出安全模式：
%hadoop dfsadmin –safemode wait
# command to read or write a file
进入安全模式：
%hadoop dfsadmin –safemode enter
Safe mode is ON
离开安全模式：
%hadoop dfsadmin –safemode leave
Safe mode is OFF
HDFS ：日志审计
HDFS 的日志能够记录所有文件的访问请求，对日志进行审计是log4j在
INFO级别实现的。在默认配置下，log4j。Properties属性文件中的阈值被
设为WARN（未启动）。
HDFS ：dfsadmin
dfsadmin工具既可以查找
HDFS状态信息，又可在
HDFS上执行管理操作。
HDFS ：fsck
fsck工具可以用来检测HDFS中文件的健康状况
HDFS ：fsck
对于损坏或者丢失的块
--移动
--删除
寻找特定文件的数据块
HDFS ：datanode块扫描器
每个datanode运行一个块扫描器，定期检查本节点上的所有块，从而在客
户端客端读到坏块之前及时的检测和修复坏块。
周期：dfs.datanode.scan.period.hours设置
HDFS ：均衡器
目的：均衡器将块从忙碌的datanode移到相对空闲的datanode，重新分配
块
启动均衡器：
%start –balancer.sh
-threshold
监控
日志
度量
Java管理扩展
监控
监控 日志
日志有助于查明系统中发生的事件
设置日志级别：
通过Hadoop守护进程的网页来改变任何log4j日志名称的日志级别
获取堆栈轨迹：
Hadoop守护进程提供一个网页对正在守护进程的JVM中运行着的线程执行
线程转储。
监控 度量
HDFS和MapReduce守护进程收集相关的事件和度量信息。
监控 度量
监控 度量
监控 度量
监控 Java管理扩展(JMX)
监控 Java管理扩展(JVM)
许多第三方监控和报警系统均可查询Mbean，因此通过这些系统使用JMX
能够监控一个Hadoop集群。
维护
日常管理过程
元数据备份
数据备份
fsck工具
文件系统均衡器
委任和解除节点
委任新节点
解除旧节点
升级
版本兼容
HDFS的数据和元数据升级
维护 元数据备份
如果namenode的永久性性元数据丢失或者损坏，则整个文件系统无法使用，
因此数据备份非常关键。
方法一：直接保存这些元数据文件的副本
方法二：整合倒namenode正在使用的文件上
维护 数据备份
为数据划分不同的优先级最高优先级是那些无法重新产生数据，对业务非常
关键的数据，通常备份。优先级低的数据则无需备份。
distcp备份工具
维护 fsck工具
定期地对整个文件系统运行HDFS的fsck（文件系统检查）工具，主动查找
丢失或损坏的块
维护 文件系统均衡器
定期地运行均衡器工具，保存文件系统的各个datanode比较均衡。
维护 委任和解除节点
维护 委任新节点
维护 解除旧节点
维护 解除旧节点
维护 升级
维护 兼容
维护 升级
必要性：在一个测试集群做实验
维护 升级Five Tips
维护 升级步骤
维护 升级
维护 升级
Thank You