ITeye博客

karo_lee的博客

karo_lee · 共 9 篇文章

Spring for Apache Hadoop 的 reference HBase支持部分

<!--[if !supportLists]-->7.1. <!--[endif]-->HBase SHDP通过hbase-configuration命名空间元素为HBase提供了基本的配置。 <!—default bean id is ‘hbaseConfiguration’ that uses the existing ‘hadoopConfiguration’ object --> <hdp:hbase-configuration configuration-ref=”hadoopCconfiguration” /> 上面的声明不仅仅是简单地创建了一个HBase配置对象,它还管理这个H…

2015-05-09 02:06 · 评论(0)

Spring for Apache Hadoop 的 Reference 二

<!--[if !supportLists]-->1. <!--[endif]-->MapReduce和分布式缓存 4.1. 创建Hadoop作业 Hadoop配置完成之后需要提交一些作业。SHDP让这个过程变得很简单,不管是map-reduce类型的还是streaming。下面看一个例子: <hdp:job id=”mr-job” input-path=”/input/” output-path=”/output/” mapper=”org.apache.hadoop.examples.WordCount.TokenizerMapper” reducer=”org.apache.hadoo…

2015-05-07 10:44 · Spring · solr · hbase · hadoop · 评论(0)

Spring for Apache Hadoop 的 Reference 一

I. 简介 <!--[if !supportLists]-->1. <!--[endif]-->环境需求 Spring for Apache Hadoop 2.1使用JDK 7、Spring Framework 4.1编译测试,对应的Hadoop版本是2.6。 • Spring for Apache Hadoop 2.1支持如下版本的发布版: • Apache Hadoop 2.4.1 • Apache Hadoop 2.5.2 • Apache Hadoop 2.6.0 • Pivotal HD 2.1 • Cloudera CDH 5(2.5.0-cdh5.3.0) • Hortonwo…

2015-05-07 10:31 · Spring · solr · hbase · hadoop · 评论(0)

Spring for Apache Hadoop 的 Reference 目录

作者:考斯丁.里奥,托马斯.里斯伯格,简尼.沃尔克拉蒂 目录 I. 简介 1. 环境需求 2. 其他资源 II. Spring 和 Hadoop 3. Hadoop配置 3.1. 使用Spring for Hadoop的命名空间 3.2. 使用Spring for Hadoop的JavaConfig 3.3. 配置Hadoop 3.4. 运行支持 3.4.1. spring.hadoop属性 3.4.2. spring.hadoop.fsshell 属性 4. MapReduce和分布式缓存 4.1. 创建Hadoop作业 4.1.1.创建Hadoop Streaming作业 4.2. 运行…

2015-05-07 10:21 · Spring · solr · hbase · hadoop · 评论(0)

Spring for hadoop 简介

Spring for hadoop提供了统一的配置模式以简化Apache Hadoop的开发,并也易于调用HDFS、Mapreduce、Pig和Hive的API。它还提供了与Spring生态圈的其他项目集成的能力,例如Spring Intergration 和Spring Batch,让你可以优雅地开发大数据的提取/导出和Hadoop工作流项目。 从OReilly公司下载Spring-data:Morden Data Access for Enterprise Java一书(http://shop.oreilly.com/product/0636920024767.do#),这本书包含了几章…

2015-05-07 10:18 · Spring · hadoop · 评论(0)

典型的大数据应用软件

数据摄取层 Apache Flume,Storm Hadoop存储 HDFS NoSQL数据库 HBase,Cassandra 规则引擎 MapReduce任务 管理平台 查询工具 MapReduce,Pig,Hive 查询引擎 Solr 协作工具 Zookeeper.Oozie 分析引擎 R,Pentaho 可视化工具 Tableau,Clickview,Spotfire 大数据分析应用 EMC Greenplum,IBM Netezza,IBM Pure Systems,Oracle Exalytics 监控 Ganglia,Nagios 数据集成IDE Talend,Pentaho H…

2014-05-06 10:16 · 评论(0)

hbase regionserver 启动失败的一个原因

今天在RHEL 5.5上分布式安装hbase遇到一个错误,查看regionserver的log: regionserver.HRegionServer:reportForDuty failed;sleeping and then retrying. regionserver.HRegionServer:reportForDuty to master=localhost,6000,139xxxxxx with port=60020,startcode=139xxxxxx regonserver.HRegionServer:error telling master we are up 然后就是抛…

2014-04-28 15:41 · hbase · 评论(0)

一个tomcat服务添加多个solr索引应用

据说multi core这种方式在并发增加后相应速度比标准配置慢。《解密搜索引擎技术实战》中推荐使用部署在同一个web服务器中的多个solr应用这种方式。书上只是抛砖引玉,在此做个详细记录 1、tomcat安装sorl成功后。参考http://blog.csdn.net/zhufeng609/article/details/24350131 2、复制一份 $TOMCAT_HOME/webapp/ 下的solr.war改名为 newsolr.war 3、复制一份$TOMCAT_HOME/conf/Collection/locahost/ 下的solr.xml 改名为newsolr.xml 修改…

2014-04-24 13:15 · solr · 评论(0)

Spring与RMI整合

不管使用java多久肯定听说过RMI(Remote Method Invocation 远程方法调用)。RMI第一次被引入Java开发平台是在JDK1.1,给程序员一个强大的Java程序间通信的工具。在RMI之前,程序员们唯一的选择远程调用选择是CORBA或者是难以驾驭的socket编程。 不过开发使用RMI服务比较冗长无趣。这个过程包含几个步骤,有编码有设置。Spring通过提供一个代理工厂bean简化了RMI的模型,它允许你把RMI服务写进Spring应用,即便是一些本地的JavaBeans。Spring还提供了一个远程输出(remote exporter),能方便地将Spring管理的…

2014-03-03 14:16 · Spring · 评论(0)