博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
理解MapReduce计算构架
阅读量:4312 次
发布时间:2019-06-06

本文共 334 字,大约阅读时间需要 1 分钟。

用Python编写WordCount程序任务

程序

WordCount

输入

    1. 一个包含大量单词的文本文件

输出

文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔

编写map函数,reduce函数

1.创建一个文件夹和两个文件

       2.打开文件添加map和reduce代码

将其权限作出相应修改

本机上测试运行代码

放到HDFS上运行

 1.用WinSCP将下载好的文件放到wc

下载并上传文件到hdfs上

 用Hadoop Streaming命令提交任务

1.创建run.sh脚本文件

2.运行run.sh

3.运行结果

 

转载于:https://www.cnblogs.com/lgy520/p/9019873.html

你可能感兴趣的文章
注册用户
查看>>
TZC Intercommunication System
查看>>
HDU 4571 SPFA+DP
查看>>
centos 创建以日期为名的文件夹
查看>>
Java Timer触发定时器
查看>>
Page Object设计模式
查看>>
程序的基础知识
查看>>
在VIM中使用GDB调试 – 使用vimgdb
查看>>
python爬虫---从零开始(五)pyQuery库
查看>>
POJ2236(KB5-A)
查看>>
Centos MySQL数据库迁移详细步骤
查看>>
2初出茅庐--初级篇2.1
查看>>
新建 WinCE7.0 下的 Silverlight 工程
查看>>
腾讯的张小龙是一个怎样的人?
查看>>
jxl写入excel实现数据导出功能
查看>>
linux文件目录类命令|--cp指令
查看>>
.net MVC 404错误解决方法
查看>>
linux系统目录结构
查看>>
git
查看>>
btn按钮之间事件相互调用
查看>>