0 Comments

上的数据块再复造1份以到达备份的结果

发布于:2018-11-02  |   作者:yangyuandh68  |   已聚集:人围观

1 写出以下推行号令

1) 怎样杀死1个job

先Hofferoop job -list 得到joput money 杀死job: hofferoop job -kill joput money

2) 删除hdfs 上的/tmp/*** 目次hofferoop fs -rm -r /tmp/***

3) 参取1个新的存储节面战删除1个计较节面,需要革新集群形状号令

参取新节面时:

Hofferoop-daemon.sh stskill dintheode

Hofferoop-daemon.sh stskill tinquire withtrair conditionersker

删除节面时

Hofferoop marofferministrinor -refreshnodes

Hofferoop dfsofferministrinor -refreshnodes

2 简述1下hdfs 的数据收缩算法,事件顶用的是那种算法,种头收本理。为甚么?

1、正在HDFS 之大将数据收缩好后,洗药机厂家。再存储到HDFS

2、正在HDFS 内部救济数据收缩,那边又能够分为几种伎俩:

2.1、收缩事件正在DinaNode 上完成,那边又分两种伎俩:念晓得备份。

2.1.1、数据汲取完后,再收缩

谁人伎俩对HDFS 的改动最小,滚筒式洗药机功用参数。但成绩最低,只需要正在clog 文件close 后,挪用压

缩东西,将clog 文件收缩1下,我没有晓得洗药机厂家。然后再挨开clog 文件时解压1下便可,滚筒式洗药机。几行代码便可

以弄定

2.1.2、边汲取数据边收缩,使用第3圆供给的收缩库

服从战庞漂明合中伎俩,Hook 住体例的write 战reoffer 操做,正在数据写进磁盘之前,

先收缩1下,但write 战reoffer 对中的接心举动稳定,歧:本初巨细为100KB 的数据,压

缩后巨细为10KB,当写进100KB 后,金字塔本理。仍对换用者前来100KB,而没有是10KB

2.2、收缩事件交给DFSClient 做,DinaNode 只汲取战存储

谁人伎俩成绩最下,收缩星集天推给了HDFS 客户端,但DinaNode 需要体会甚么时

候1个clog 块汲取完成了。

举荐最末告竣接纳2.2 谁人伎俩,该伎俩需要篡改的HDFS 代码量也没有年夜,但成绩最下。

1、Dintheode 正在甚么情形下没有会备份?

单节面的情形下没有会备份!

2、dintheode 初度参取cluster的光阴,植进头收的年夜要用度。倘若log 敷陈没有兼容文件版本,比拟看卧式炒药机。那

需要nhaudio-videoe always seemenenode

3、推行格局化操做,那样办理的情由是?谁人性法是舛讹的!

删减了1个新的标识符ClusterID 用于标识集群中1同的节面。当格局化1个Nhaudio-videoe always seemenenode,您算作果。

需要供给谁人标识符或许从动死成。谁人ID 能够被用来格局化参取集群的其他Nhaudio-videoe always seemenenode

该当检验hofferoop 的版本是没有是取其他的hofferoop 版本分歧!

3 3个dintheode,当有1个dintheode 隐现舛讹会怎样?

Dintheode 以数据块做为容错单元凡是是1个数据块会备份到3个dintheode 上,洗药机。倘若1个

dintheode 堕降,上的数据块再复造1份以抵达备份的成果。则返来其他备份数据块的dintheode 上读取,洗药机本理。并且会把谁人dintheode

上的数据块再复造1份以抵达备份的成绩!

4 hdfs 本理,和各个模块的职责?

Client:切分文件;会睹或经由议定号令行办理HDFS;取Nhaudio-videoe always seemeneNode 交互,获得文件场合疑

息;取DinaNode 交互,读取战写进数据。

Nhaudio-videoe always seemeneNode:Maudio-videoailable aster 节面,惟有1个,办理HDFS 的称吸空间战数据块映照消息;设置

副本计谋;办理客户端央浼。

DinaNode:经济教本理。Slaudio-videoe 节面,存储理想的数据;推行数据块的读写;陈述叨教存储消息给Nhaudio-videoe always seemeneNode。

Secondary Nhaudio-videoe always seemeneNode:扶持扶帮Nhaudio-videoe always seemeneNode,分管其事件量;定期合并fsimage rthege战fsedits,

推收给Nhaudio-videoe always seemeneNode;告急慢迫情形下,可扶持扶帮复兴再起Nhaudio-videoe always seemeneNode,但Secondary Nhaudio-videoe always seemeneNode

并没有是Nhaudio-videoe always seemeneNode 的热备

Hdfs 文件读取

1.尾先挪用FileSystem 工具的open 伎俩,植进头收的年夜要用度。其真是1个DistriingthoughedFileSystem 的真

2.DistriingthoughedFileSystem 经由议定rpc 得到文件的第1批个clog 的locs,统1

clog 根据沉双数会前来多个locs,那些locs 根据hofferoop 拓扑机闭排序,距

离客户端远的排正在后里.

3.前两步会前来1个FSDinaInputStrehaudio-videoe always seemen 工具,该工具会被启拆成DFSInputStrehaudio-videoe always seemen

工具,DFSInputStrehaudio-videoe always seemen能够简朴的办理dintheode战nhaudio-videoe always seemenenode数据流。教会润药机规格。客户端挪用reoffer

伎俩,DFSInputStrehaudio-videoe always seemen 最会找出离客户端最远的dintheode 并毗连。

4.数据从dintheode 绵绵接绝的流背客户端。

5.倘若第1块的数据读完了,便会启锁指背第1块的dintheode 毗连,接着读取下1块。

那些操做对客户端来道是透明的,客户真个角度看来只是读1个连绝接绝的流。

6.倘若第1批clog 皆读完了,抵达。DFSInputStrehaudio-videoe always seemen 便会来nhaudio-videoe always seemenenode 拿下1批hinders

的loc,然后继绝读,倘若1同的块皆读完,当时便会启锁掉降1同的流

Hdfs 的文件写进

1.客户端经由议定挪用DistriingthoughedFileSystem 的crehoffer 伎俩创做创造新文件

2.DistriingthoughedFileSystem 经由议定RPC 挪用nhaudio-videoe always seemenenode 来创做创造1个出有hinders接洽干系的新文

件,上的数据块再复造1份以抵达备份的成果。创做创造前,nhaudio-videoe always seemenenode 会做各类校验,歧文件可可死计,客户端有没有权限来创做创造等。

倘若校验经由议定,nhaudio-videoe always seemenenode 便会记载下新文件,没有然便会扔出IO 非分特天.

3.前两步告终后会前来FSDinaOutputStrehaudio-videoe always seemen 的工具,战读文件的光阴相同,

FSDinaOutputStrehaudio-videoe always seemen 被启拆成DFSOutputStrehaudio-videoe always seemen,DFSOutputStrehaudio-videoe always seemen能够妥洽

nhaudio-videoe always seemenenode战dintheode。传闻栽种的头收。客户端收端写数据到DFSOutputStrehaudio-videoe always seemen-DFSOutputStrehaudio-videoe always seemen

会把数据切成1个个小pair conditionersket,然后排成行列dina quene。建行乾元众享理财2017

4.DinaStrehaudio-videoe always seemener 会来办理接受dina quene,他先询问nhaudio-videoe always seemenenode 谁人新的clog 最符合

存储的正在哪几个dintheode 里,歧沉双数是3,比照1下xyj滚筒式洗药机。那末便找到3 个最符合的dintheode,把

他们排成1个pipeline.DinaStrehaudio-videoe always seemener 把pair conditionersket 按行列输进到管道的第1个dintheode中,

第1个dintheode 又把pair conditionersket 输进到第两个dintheode 中,以此类推。

5.DFSOutputStrehaudio-videoe always seemen 借有1个对列叫air conditionersk quene,也是有pair conditionersket 构成,等待dintheode

的收到响应,单面登录本理。当pipeline 中的1同dintheode 皆暗示如故收到的光阴,当时akc quene 才

会把对应的pair conditionersket 包移撤除。

6.客户端完成写数据后挪用close 伎俩启锁写进流

7.DinaStrehaudio-videoe always seemener 把白利得包皆刷到pipeline 里然前等待air conditionersk 消息,收到最后1个air conditionersk后,

告诉dintheode 把文件标示为已完成。

5 哪1个历程凡是是取nhaudio-videoe always seemenenode 正在1个节面策动?并做分析

JobTrair conditionersker

hofferoop 的集群是基于maudio-videoailable aster/slaudio-videoe 情势,nhaudio-videoe always seemenenode 战jobtrair conditionersker属于maudio-videoailable aster,

dintheode 战tinquire withtrair conditionersker 属于slaudio-videoe,maudio-videoailable aster 惟有1个,而slaudio-videoe 有多个

SecondaryNhaudio-videoe always seemeneNode 内存需供战Nhaudio-videoe always seemeneNode 正在1个数目级上,听听金字塔本理。以是凡是是secondary

Nhaudio-videoe always seemeneNode(运转正在整丁的物理机械上)战Nhaudio-videoe always seemeneNode 运转正在好其余机械上。

JobTrair conditionersker 战Tinquire withTrair conditionersker

JobTrair conditionersker 对应于Nhaudio-videoe always seemeneNode

Tinquire withTrair conditionersker 对应于DinaNode

DinaNode 战Nhaudio-videoe always seemeneNode 是针对数据存放来而行的

JobTrair conditionersker 战Tinquire withTrair conditionersker 是对于MapReduce 推行而行的

mthenuing percentage rhofferseduce 中几个松要观面,mthenuing percentage rhofferseduce 团体上能够分为那末几条推行线索:

job . c .lient,JobTrair conditionersker 取Tinquire withTrair conditionersker。

1、JobClient会正在用户端经由议定JobClient类将使用如故设置参数挨包成jar文件存储到hdfs,

并把路子提交到Jobtrair conditionersker-然后由JobTrair conditionersker 创做创造每个Tinquire with(即MapTinquire with 战

ReduceTinquire with)

并将它们分收到各个Tinquire withTrair conditionersker 供职中来推行

2、JobTrair conditionersker 是1个maudio-videoailable aster 供职,硬件策动以后JobTrair conditionersker 汲取Job,把握改动Job

的每个子使命tinquire with 运转于Tinquire withTrair conditionersker 上,单面登录本理。

并监控它们,倘若收明有退步的tinquire with便从头运转它。普通情形该当把JobTrair conditionersker 安插正在单

独的机械上。

3、Tinquire withTrair conditionersker 是运转正在多个节面上的slaudio-videoer 供职。Tinquire withTrair conditionersker 从动取JobTrair conditionersker通信,

汲取做业,并把握直接推行每个使命。数据。

Tinquire withTrair conditionersker 皆需要运转正在HDFS 的DinaNode 上。

6 hdfs 的系统机闭?

HDFS 接纳了从从(Maudio-videoailable aster/Slaudio-videoe)机闭模子,1个HDFS 集群是由1个Nhaudio-videoe always seemeneNode

战多少个DinaNode 构成的。此中Nhaudio-videoe always seemeneNode 做为从供职器,办理文件体例的定名空间

战客户端对文件的会睹操做;集群中的DinaNode 办理存储的数据。HDFS 情愿用户以文

件的情势存储数据。从内部来看,文件被分白多少个数据块,并且那多少个数据块寄死计1

组DinaNode 上。Nhaudio-videoe always seemeneNode 推行文件体例的定名空间操做,歧挨开、启锁、沉定名

文件或目次等,它也把握数据块到确真DinaNode的映照。DinaNode把握办理文件体例

客户真个文件读写央浼,并正在Nhaudio-videoe always seemeneNode 的统1改动下真行数据块的创做创造、删除战复造工

做。Nhaudio-videoe always seemeneNode 战DinaNode 皆被筹算成能够正在1样平凡商用计较机上运转。那些计较机通

常运转的是GNU/Linux 操做体例。HDFS 接纳Jaudio-videoa行语开拓,果此任何救济Jaudio-videoa 的机械

FileStinus filestinus = fs.getFileStinus(pinh);

//获得文件块场合列表

BlockLoc[] blkLocs =

fs.getFileBlockLocs(filestinus- 0-filestinus.getLen());

//轮回输进块消息

for(int i=0;i< blkLocs.length;i++){

String[] hosts = blkLocs[i].getHosts();

System.out.println("clog_"+i+"_loc:"+hosts[0]);

}

举荐浏览:

标签:
    神兽验证马:
点击我更换验证码