Apache Hadoop的完全分布式集群搭建
集群规划
安装Jdk
登录linux121节点,在/opt目录下创建文件夹。
12mkdir -p /opt/lagou/software --软件安装包存放目录mkdir -p /opt/lagou/servers --软件安装目录
上传jdk安装文件到/opt/lagou/software。
进入/opt/lagou/software,解压安装文件到/opt/lagou/servers
1tar -zxvf jdk1.8.0_231.tar.gz -C /opt/lagou/servers
查看是否解压成功
12cd /opt/lagou/serversll
添加Jd ...
Apache Hadoop的完全分布式集群环境准备
Hadoop搭建方式:
单机模式:单节点模式,非集群,生产不会使用这种方式;
单机伪分布式模式:单节点,多线程模拟集群的效果,生产不会使用这种方式;
完全分布式模式:多台节点,真正的分布式Hadoop集群的搭建(生产环境建议使用这种方式);
VMware Workstation安装
双击运行安装包程序。
接受许可证协议。
选择安装位置,建议非中文无空格,增强型键盘驱动程序可选。
按照自身使用习惯勾选产品更新和客户体验提升计划。
勾选,桌面和开始创建快捷方式。
开始安装。
可输入许可证也可直接完成,如直接完成需要在打开软件时输入 ...
Apache Hadoop的重要组成
Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块
HDFS
HDFS:(Hadoop Distribute File System )一个高可靠、高吞吐量的分布式文件系统。比如:100T数据存储,“分而治之”,分:拆分–>数据切割,100T数据拆分为10G一个数据块由一个电脑节点存储这个数据块。
数据切割–>制作副本–>分散储存。
NameNode(nn):存储文件的元数据,比如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。
S ...
Hadoop简介
什么是Hadoop
Hadoop是一个适合大数据的分布式存储和计算平台。
狭义上说Hadoop就是一个框架平台,广义上讲Hadoop代表大数据的一个技术生态
圈,包括很多其他软件框架。
Hadoop的起源
Hadoop 的发展历程可以用如下过程概述:
Hadoop最早起源于Nutch,Nutch的创始人是Doug Cutting
Nutch 是一个开源 Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题
2003年、2004年谷歌发表的两篇论文为该问 ...
大数据简介
大数据的定义
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的特点
大数据的特点可以用 IBM 曾经提出的 “5V” 来描述,如下:
大量
采集、存储和计算的数据量都非常大。
计算机存储单位一般用B,KB,MB,GB,TB,PB,EB,ZB,YB,BB、NB、DB来表示,它们之间的关系是1GB = 1024 MB,1TB = 1024 GB,1PB = 1024 TB,1EB = 1024 PB,1ZB = 1024 EB,1YB = 1024 ZB ...
Hexo+Kaze+Gitee搭建个人博客
安装 Git
Windows:下载并安装 gitee。
Mac:使用 Homebrew 安装。
Linux(Ubuntu,Debian),命令行输入:sudo apt-get install git-core
Linux(Fedora,Red Hat,CentOS),命令行输入:sudo yum install git-core
安装 Node.js
Node.js 为大多数平台提供了 官方安装程序。
安装 Hexo
1npm install -g hexo-cli
使用以下指令查看是否安装成功:
1hexo version
如果你想卸载 Hexo,使用以下指令:
...
easyUI网页查询Excel表格下载(2)
Excel表格下载
生成excel表格的工具类
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495969798991001011021031041051061071081091101111121131141151161171181191201211221231241251261271 ...
easyUI网页查询Excel表格下载(1)
Excel表格下载
前端html代码(最好使用form表单提交请求)
1234567891011 <form id="exportproduceExcel" style="float: left;"> <div style="display: none"> <input id="produce_producetongxuntypeselect" name="producetongxuntypeselect" class="easyui-textb ...
easyUI网页datagrid的增删改查(2)
网页的前台展示和查询分页,增删改相关代码(后台分页)
后台contorller的代码
12345678910111213141516171819202122232425262728293031 //查询客户来访信息记录@RequestMapping("/finduservisithistory")@ResponseBodypublic String finduservisithistory(int companyid,int bNum,int rows) { String res = taiZhangService.finduservisithistory ...
easyUI网页datagrid的增删改查(1)
网页的前台展示和查询分页,增删改相关代码(后台分页)
网页html相关代码
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109<div title="客户来访信息记录"> ...