黑龙江哪里有卖复叶槭种子的? 当前位置:首页>黑龙江哪里有卖复叶槭种子的?>正文

黑龙江哪里有卖复叶槭种子的?

发布时间:2019-04-19

原标题:MapReduce-实践1

凝聚而成的蓝银霸王枪当然不会走空,蓝金色的光芒暴射而出。但令唐三惊讶的事情再次发生了,蓝银霸王枪的发射速度何等之快,可就在他射前的一瞬间,海星斗罗庞大的身体略微扭动了一下,一条还吞噬着他蓝银皇的粗大触手横了过来,正好挡住了蓝银霸王枪射的必经之路。

哪里供应藤本月季种苗?

关键时刻,就体现出了唐三作为控制系魂师,团队灵魂的重要作用。他放弃了向正面的主动攻击,蓝银草飞快探出,紧随小舞之后,处于被对方两名猴魂师围追堵截的朱竹清也被他飞速扯回身边,同时被带回的,还有刚被对手逼退的戴沐白。短时间内,令本方七人快速聚集到一处。
而凌澈则是在这一路上向叶扬讲述了应该注意的事项,这秦皇陵甚是古怪,不只是硬着头皮往里冲就行,据说里面还有着迷宫和暗桩。不过叶扬对此倒不怎么在意,若是有迷宫的话,他直接一路打穿了就行了。

天!这是什么意思,林风看着眼前的血手印,血手印一出,必然引起一场腥风血雨,而且,林风已经猜到,血手盟的背后的主使就是晋王。

 

MR进阶实践1:  -file 分发多个文件

【-file 适合场景】分发文件在本地,小文件

-file分发原理
 
 
 
 
run.sh文件: 通过多个-file, 将多个本地文件分发到Hadoop集群中的compute node
HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/02_filedistribute_input/The_Man_of_Property.txt"
OUTPUT_PATH="/02_filedistribute_output"
$HADOOP_CMD fs -rmr-skipTrash $OUTPUT_PATH
# job1: use -file to distribute 3 local file to cluster
# these 3 files will bestored in the same directory in each datanode
$HADOOP_CMD jar$STREAM_JAR_PATH 
    -input $INPUT_FILE_PATH 
    -output $OUTPUT_PATH 
    -mapper "python map.py mapper_funcwhite_list" 
    -reducer "python red.pyreducer_func" 
    -file ./map.py 
    -file ./red.py 
    -file ./white_list
 
修改reducer个数为三个 (第一种 -jobconf)
HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/02_filedistribute_input/The_Man_of_Property.txt"
OUTPUT_PATH="/02_filedistribute_output"
$HADOOP_CMD fs -rmr-skipTrash $OUTPUT_PATH
# job1: use -file todistribute 3 files
# these 3 files will be stored in the same directory in each datanode
$HADOOP_CMD jar$STREAM_JAR_PATH 
    -input $INPUT_FILE_PATH 
    -output $OUTPUT_PATH 
    -mapper "python map.py mapper_funcwhite_list" 
    -reducer "pythonred.py reducer_func" 
    -jobconf “mapred.reduce.tasks=3”   # deprecated option, not suggested
    -file ./map.py 
    -file ./red.py 
    -file ./white_list

 

 
修改reducer为3个(第二种  -D)
HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/02_filedistribute_input/The_Man_of_Property.txt"
OUTPUT_PATH="/02_filedistribute_output"
$HADOOP_CMD fs -rmr-skipTrash $OUTPUT_PATH
# job1: use -file todistribute 3 files
# these 3 files will bestored in the same directory in each datanode
$HADOOP_CMD jar$STREAM_JAR_PATH 
    -D mapred.reduce.tasks=3 
    -input $INPUT_FILE_PATH 
    -output $OUTPUT_PATH 
    -mapper "python map.py mapper_funcwhite_list" 
    -reducer "pythonred.py reducer_func" 
    -file ./map.py 
    -file ./red.py 
    -file ./white_list

 

datanode上观察分发的文件
 
1、作业专属目录
作业开始后,会创建专属目录, taskTracker/root/jobcache/job_xxxxxxxx
 
2、分发给作业的文件
被放置在同一目录,taskTracker/root/jobcache/job_xxxx/jars
 
3、每一个正在运行的mapper, reducer构建attempt目录
每一个运行的mapper, reducer会构建一个attempt目录,taskTracer/root/jobcache/job_xxx/attempt_yyyyy/work ,  生成符号链接文件,指向jars中的具体文件
 
 

 

MR进阶实践2: -cacheFile 将放在HFDS上的文件分发给计算节点

 
1、将mapreduce程序运行时需要的某一个辅助文件提前上传到HDFS
 
例如:将实践1中的white_list上传到HDFS,本地文件在上传后直接删除

# hadoop fs -put ./white_list /
# rm -rf ./white_list

 

2、修改run.sh, 设置-cacheFile
HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/03_cachefiledistribute_input/The_Man_of_Property.txt"
OUTPUT_PATH="/03_cachefiledistribute_output"
$HADOOP_CMD fs -rmr-skipTrash $OUTPUT_PATH
# job2: use -cacheFileto distribute HDFS file to compute node
$HADOOP_CMD jar$STREAM_JAR_PATH 
    -input $INPUT_FILE_PATH 
    -output $OUTPUT_PATH 
    -mapper "python map.py mapper_func WH" 
    #这里也一定要用WH符号链接,因为作业开始运行后创建的attemps目录中只能看到WH,和map.py符号链接位于同一目录
    -reducer "pythonred.py reducer_func" 
    -cacheFile “hdfs://master:9000/white_list#WH”
    #WH一定要,每个attemp中要生成该符号链接,指向Tasktracer/distcache中的whitelist
    -file ./map.py 
    -file ./red.py

 

 
 
3、运行run.sh,提交任务,观察数据节点上的文件分发
 
 
运行结束后, jobcache下的所有内容,以及distcache下的所有内容,将全部清空

 

MR进阶实践3: -cacheArchive 将位于HFDS上的压缩文件分发给计算节点

 
【使用场景】
 假定有多个white_list文件,如果一个个通过-file方式上传就不太合理,可以将多个white_list文件,打包压缩为1个tar.gz文件,上传到HDFS,然后通过-cacheArchive方式,将HDFS压缩将件分发给各个compute node.  同时框架会自动将分发到各个compute node上的压缩文件进行解压
 
 
1、将本地多个white_list文件,打包为一个压缩文件w.tar.gz
目录结构:map.py,  red.py, white_list_dir
                                                            |_white_list_1
                                                            |_white_list_2
 
注意:gzip打包后的文件,上传到HDFS,通过-cacheArchive分发到计算节点后,会自动解压为同名文件夹
 
打包完成后的目录结构为:map.py,  red.py, white_list_dir
                                                            |_white_list_1
                                                            |_white_list_2
                                                            |_w.tar.gz
 
2、打包后的压缩文件上传到HDFS
# hadoop fs –put ./w.tar.gz  /
 
# hadoop fs –ls /
查看是否已经上传成功

 

3、修改run.sh,-cacheArchive选项
HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/03_cachefiledistribute_input/The_Man_of_Property.txt"
OUTPUT_PATH="/03_cachefiledistribute_output"
$HADOOP_CMD fs -rmr-skipTrash $OUTPUT_PATH
# job3: use -cacheArchive to distribute HDFS compressed file to compute node
$HADOOP_CMD jar$STREAM_JAR_PATH 
    -input $INPUT_FILE_PATH 
    -output $OUTPUT_PATH 
    -mapper "python map.py mapper_func WLDIR" 
    #这里也一定要用WH.gz符号链接名,因为attemps中只能看到WH.gz
    -reducer "pythonred.py reducer_func" 
    -cacheArchive “hdfs://master:9000/w.tar.gz#WLDIR”
    #WLDIR一定要,每个attemp中要生成该符号链接,指向Tasktracer/distcache中已经自动解压的文件夹,文件夹中有white_list_1,white_list_2
    -file ./map.py 
    -file ./red.py

 

3、重大变动:修改map.py程序
-mapper "python map.py mapper_func WLDIR"
 
可以看出map.py开始运行时,传入参数只能是WLDIR,表示压缩的HDFS文件分发到compute node后自动解压得到的目录
因此map.py要修改程序为遍历WLDIR字符串代表的目录,找到每个文件,然后再对每个文件做处理
 
4、运行run.sh,提交任务,观察数据节点上的文件分发
 
 
运行结束后, jobcache下的所有内容,以及distcache下的所有内容,将全部清空

编辑:石密安

发布:2019-04-19 00:55:17

当前文章:http://www.aluminumalloyformwork.com/list/vmedp4rkmt.html

黑龙江樱花价格便宜吗? 皇竹草和甜象草有什么不一样? 有大面积种牧草吗? 什么牧草适宜冬天播种? 紫花苜蓿种子在哪里买呢? 白标天堂草种子多少钱一斤? 湖北哪里有卖漆树种子的? 油桐种子的发芽率怎么样?

64650 45228 93629 15030 34735 58011 53683 44171 73766 70456 21417 47419 80280 27671 43192 55240 46715 33445 84911 35009

责任编辑:顺海徒