如何运行自带wordcount

发布网友 发布时间：2022-04-21 17:59

我来回答

共3个回答

热心网友 时间：2023-07-31 16:57

　　1.找到examples例子

　　我们需要找打这个例子的位置：首先需要找到你的hadoop文件夹，然后依照下面路径：

　　/hadoop/share/hadoop/maprece会看到如下图：

　　hadoop-maprece-examples-2.2.0.jar

　　第二步：

　　我们需要需要做一下运行需要的工作，比如输入输出路径，上传什么文件等。

　　1.先在HDFS创建几个数据目录：

　　hadoop fs -mkdir -p /data/wordcount

　　hadoop fs -mkdir -p /output/

　　2.目录/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，运行这个MapRece任务的结果输出到/output/wordcount目录中。

　　首先新建文件inputWord：

　　vi /usr/inputWord

　　新建完毕，查看内容：

　　cat /usr/inputWord

　　将本地文件上传到HDFS中：

　　hadoop fs -put /usr/inputWord /data/wordcount/

　　可以查看上传后的文件情况，执行如下命令：

　　hadoop fs -ls /data/wordcount

　　可以看到上传到HDFS中的文件。

　　通过命令

　　hadoop fs -text /data/wordcount/inputWord

　　看到如下内容：

　　下面，运行WordCount例子，执行如下命令：

　　hadoop jar /usr/hadoop/share/hadoop/maprece/hadoop-maprece-examples-2.2.0.jar wordcount /data/wordcount /output/wordcount

　　可以看到控制台输出程序运行的信息

　　查看结果，执行如下命令：

　　hadoop fs -text /output/wordcount/part-r-00000

结果数据示例如下：

登录到Web控制台，访问链接http.//master:8088/可以看到任务记录情况。

热心网友 时间：2023-07-31 16:57

　　
　　1、在linux系统中，所在目录“/home/kcm”下创建一个文件input
　　[ubuntu@701~]$ mkdir input
　　2.在文件夹input中创建两个文本文件file1.txt和file2.txt，file1.txt中内容是“hello word”,file2.txt中内容是“hello hadoop”、“hello maprece”(分两行)。
　　[ubuntu@701~]$ cd input
　　[ubuntu@701~]$ vi file1.txt（编辑文件并保存）
　　[ubuntu@701~]$ vi file2.txt（编辑文件并保存）
　　[ubuntu@701~]$ ls -l /home/kcm/input
　　file1.txt file2.txt
　　显示文件内容可用：
　　[ubuntu@701~]$ cat/home/kcm/input/file1.txt
　　hello word
　　[ubuntu@701~]$ cat /home/kcm/input/file2.txt
　　hello maprece
　　hello hadoop
　　3.在HDFS上创建输入文件夹wc_input,并将本地文件夹input中的两个文本文件上传到集群的wc_input下
　　[ubuntu@701~]$ hadoop fs -mkdir wc_input
　　[ubuntu@701~]$ hadoop fs -put/home/kcm/input/file* wc_input
　　查看wc_input中的文件：
　　[ubuntu@701~]$ /hadoop fs -ls wc_input
　　Found 2 items
　　-rw-r--r-- 1 root supergroup 11 2014-03-13 01:19 /user/hadoop/wc_input/file1.txt
　　-rw-r--r-- 1 root supergroup 29 2014-03-13 01:19 /user/hadoop/wc_input/file2.txt
　　4.首先，在window下将wordcount进行打包，我们这里把它打包成wordcount.jar；然后，将wordcount.jar拷贝到linux系统中，存放的目录自己决定即可。我们这里存放到/home/kcm目录下面。
　　5.运行wordcount.jar包（转到该jar包存放的目录下）：
　　[ubuntu@701~]$ hadoop jar wordcount.jar /user/hadoop/wc_input /user/hadoop/output

热心网友 时间：2023-07-31 16:58

jobtracker和tasktracker之间通信存在问题