博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据||HDFS||NameNode启动过程详解
阅读量:6535 次
发布时间:2019-06-24

本文共 714 字,大约阅读时间需要 2 分钟。

NameNode数据存放的地方有2个

1、内存

2、本地磁盘。镜像文件(fsimages)和日志文件(edits)

说明:格式化namenode目的是生成 fsimages文件。它是用来存放元数据的。

第一次启动过程如下:

0、format namenode

1、fsimages
2、start namenode

  • read  fsimages

3、start datanode

  • 向namenode注册
  • 向namenode报告(块信息)

4、create dir

  • 创建目录的过程中,会把操作过程记录到日志文件(edits)

5、put file

  • 上传文件过程中,会把操作过程记录到日志文件(edits)

6、delte file

  • 删除文件过程中,会把操作过程记录到日志文件(edits)

说明:所有的元数据操作改变都会写入到日志中。namenode中的元数据状态永远是最新的。namenode中的数据一份在内存,一份在磁盘

第二次启动过程如下:

1、启动namenode(只能读取磁盘文件),启动完成后最完整的元数据

  • 读取msimage镜像文件
  • 读取edit日志文件
  • 生成 gen  write msimages[new] 新的镜像文件
  • 生成一个新的 edit [null]为空的日志。

2、start datanode

  • 向namenode注册
  • 向namenode报告(块信息)

3、create dir

  • 创建目录的过程中,会把操作过程记录到日志文件(edits)

4、put file

  • 上传文件过程中,会把操作过程记录到日志文件(edits)

5、delte file

  • 删除文件过程中,会把操作过程记录到日志文件(edits)

转载地址:http://jukdo.baihongyu.com/

你可能感兴趣的文章
(笔记 - 纯手敲)Spring的IOC和AOP 含GIT地址
查看>>
7-设计模式介绍
查看>>
让运维更高效:关于ECS系统事件
查看>>
J2EE分布式框架--单点登录集成方案
查看>>
跨域传递参数
查看>>
android 4.2的新特性layoutRtl,让布局自动从右往左显示
查看>>
iOS tableView 下拉列表的设计
查看>>
sharepoint 2010 属性编辑工具 SPCamlEditor 1.5.1
查看>>
linux下配置网络环境
查看>>
java Windows7 下环境变量设置
查看>>
NBU异构还原Oracle完整备份的一些总结
查看>>
WSFC2016 VM弹性与存储容错
查看>>
文档管理,文本编辑控件TX Text Control .NET for WPF
查看>>
复习 Python 匿名函数 内建函数
查看>>
Security Identifiers | Win SRV2016 SID Change 修改
查看>>
看看来自日本的扫描,做网站需要注意的
查看>>
JDK 1.7+Android SDK+IntelliJ IDEA 13+Genymotion 安卓开发环境部署
查看>>
钓鱼邮件***防范指南
查看>>
session_start()放置位置的不正确引发的ROOT常量 未定义的错误
查看>>
如何设定VDP同时备份的任务数?
查看>>