IT技术分享

前端开发

后端开发

移动开发

算法研究

数据与云

Algorithm

媒体设计

建站运维

操作系统

精品资源

文章聚合未分类

统计

标签搜索

搜索到 21 篇与的结果

2022-07-22

04. YARN资源管理系统——大数据专栏

YARN的概念Apache Hadoop另一种资源协调者（Yet Another Resource Negotiator, YARN）是一种新的Hadoop资源管理器，它是一个通用的资源管理系统，可为上层应用提供统一的资源管理和调度服务，它的引入为集群在资源利用、资源的统一...

顿搜

2022-07-22

Big Data

809 阅读

0 评论

2022年07月22日

809 阅读

0 评论

2022-07-20

03. HDFS分布式文件系统——大数据专栏

HDFS的概念HDFS是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流式数据访问和处理超大文件的需求而开发的分布式文件系统。整个系统可以运行在由廉价的商用服务器组成的集群之上，它所具有的高容错性、高可靠性、高可扩展性、高可用性、高吞吐率等特征，为海...

顿搜

2022-07-20

Big Data

635 阅读

0 评论

2022年07月20日

635 阅读

0 评论

2022-07-18

02. Zookeeper分布式协调服务——大数据专栏

Zookeeper是一个分布式应用程序的协调服务，可以提供一组工具，让人们在构建分布式应用时能够对部分失败进行正确处理（部分失败是分布式系统固有的特征，使用Zookeeper并不能避免部分失败）。Zookeeper定义Zookeeper是一个分布式的、开源的协调服务框架，服...

顿搜

2022-07-18

Big Data

639 阅读

0 评论

2022年07月18日

639 阅读

0 评论

2022-07-18

01. 大数据技术概述——大数据专栏

谈到大数据，不得不提到Hadoop。Hadoop起源于Google公布的与GFS（谷歌文件系统）、MapReduce（面向大型集群的简化数据处理）、BigTable（结构化数据的分布式存储系统）有关的三篇论文，正是这三篇论文奠定了大数据发展的基石，Hadoop的诞生极大地促...

顿搜

2022-07-18

Big Data

560 阅读

0 评论

2022年07月18日

560 阅读

0 评论

2018-04-14

RDD 常用 API 汇聚

countByKey与count非常相似，但分别为每个不同的Key计算由双元组构成的RDD的个数。即根据Key来计数，看Key出现了几次。定义def countByKey(): Map[K, Long]示例val rdd = sc.parallelize(List((3, ...

顿搜

2018-04-14

Big Data

693 阅读

0 评论

2018年04月14日

693 阅读

0 评论

2018-03-16

HDFS 常用命令汇聚

调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file...

顿搜

2018-03-16

Big Data

709 阅读

0 评论

2018年03月16日

709 阅读

0 评论

2016-06-03

Ubuntu 14.04 安装单机版Storm 0.9.2

一、安装zookeeper1、创建目录在~/software目录下创建zookeeper文件夹，然后在zookeeper下创建zkdata和logs文件夹。2、下载zookeeper下载并解压到~/software/zookeeper 目录下wget http://apac...

顿搜

2016-06-03

Big Data,Cloud Computing

627 阅读

0 评论

2016年06月03日

627 阅读

0 评论

2016-04-12

服务器优化闲聊——数据库优化，服务优化

一、数据库1、单机优化数据库Cache。表放数据库中（如MySql）。堆高质量硬件。2、多级联合（问题：锁的问题【死锁】）不加锁，用户填完表单再检查，冲突的时候让用户重填某一项或某几项。单点写入，多点输出。（靠Redis，NoSQL来承担）使用Redis和MogoDB，强大...

顿搜

2016-04-12

Big Data,建站运维

634 阅读

0 评论

2016年04月12日

634 阅读

0 评论

2016-03-13

Windows下使用Ant构建MyEclipse2015+Nutch2.3.1工程

一、下载NUTCH进入官网，选择合适的版本（以apache-nutch-2.3.1-src.zip为例）二、修改文件1、将下载的文件解压，修改ivy目录下的ivysetting.xml地址, 将http://repo1.maven.org/maven2/替换为 http:...

顿搜

2016-03-13

Big Data,Cloud Computing

642 阅读

0 评论

2016年03月13日

642 阅读

0 评论

2015-12-05

使用MyEclipse 2015 Stable 2.0 编译运行MapReduce程序

在Ubuntu中使用命令行，运行Hadoop的MapReduce程序非常方便，下面我们介绍如何使用MyEclipse/Eclipse编译运行MapReduce程序。一、下载插件首先去GitHub上下载MyEclipse插件包 hadoop2x-eclipse-plugin。...

顿搜

2015-12-05

Big Data,Cloud Computing

647 阅读

0 评论

2015年12月05日

647 阅读

0 评论

2015-11-30

手动编译Hadoop-2.X.X-Eclipse-Plugin源代码，生成Jar文件

hadoop-2-x-x-eclipse-plugin可以帮助在MyEclipse/Eclipse上搭建MapReduce程序，我们可以下载已编译好的hadoop-2.x.x-eclipse-plugin.jar文件，也可以自己下载源码进行编译。下面我们就讲解如何编译源代码...

顿搜

2015-11-30

Big Data,Cloud Computing

602 阅读

0 评论

2015年11月30日

602 阅读

0 评论

2015-11-30

将Hadoop-2.7.1-SRC 源码导入到MyEclipse 2015 Stable 2.0 中

一、安装Maven如果之前装过，就不需要安装了（注，在Ubutnu 14.04中完成）。apt-get install maven二、下载Hadoop-2.7.1 源码包到官网下载Hadoop-2.7.1，请参考 Hadoop编译——Linux Ubuntu 14.04 手...

顿搜

2015-11-30

Big Data,Cloud Computing

706 阅读

0 评论

2015年11月30日

706 阅读

0 评论

2015-11-24

Hadoop使用——Linux Ubuntu 14.04 Hadoop 2.7.1伪分布式运行使用

一、开启Hadoop执行如下代码开启Hadoop。（注：我是因为已经配置了PATH，所以所有命令前面的bin/都省略了）start-dfs.sh start-yarn.sh二、创建用户目录伪分布式读取的是 HDFS 上的数据。要使用 HDFS，首先需要创建用户目录。执行以...

顿搜

2015-11-24

Big Data,Cloud Computing

737 阅读

0 评论

2015年11月24日

737 阅读

0 评论

2015-11-03

Hadoop安装——Linux Ubuntu 14.04 Hadoop 2.7.1伪分布式环境安装

一、创建hadoop用户执行以下命令添加hadoop用户useradd -m hadoop -s /bin/bash执行以下命令设置hadoop的密码passwd hadoop执行以下命令给hadoop用户添加管理员权限adduser hadoop sudo执行以下命令更新...

顿搜

2015-11-03

Big Data,Linux

620 阅读

0 评论

2015年11月03日

620 阅读

0 评论

2015-11-01

Hadoop编译——Linux Ubuntu 14.04 手动编译Hadoop 2.7.1源码

本教程以Ubuntu14.04作为系统环境，手动编译Hadoop 2.7.1源码。官网提供的编译好的二进制文件是基于32位操作系统的，如果使用64位操作系统，请手动编译源码。下面主要讲解如何在Ubuntu 14.04中安装所需组件和如何编译Hadoop 2.7.1 的源码。...

顿搜

2015-11-01

Big Data,Linux

824 阅读

1 评论

2015年11月01日

824 阅读

1 评论

顿搜

飞过闲红千叶，夕岸在哪

418 文章数

46 评论量

人生倒计时

今日已经过去小时

这周已经过去天

本月已经过去天

今年已经过去个月

今日天气

历史今天

获取失败！

IT技术分享

人生倒计时

今日天气

热门文章

历史今天

最新回复

顿搜

绿水本无忧，因风皱面

青山原不老，为雪白头