karo_lee
- 浏览: 17414 次
-
最新评论
文章列表
<!--[if !supportLists]-->7.1. <!--[endif]-->HBase
SHDP通过hbase-configuration命名空间元素为HBase提供了基本的配置。
<!—default bean id is ‘hbaseConfiguration’ that uses the existing ‘hadoopConfiguration’ object -->
<hdp:hbase-configuration configuration-ref=”hadoopCconfiguration” />
上面的声明不 ...
<!--[if !supportLists]-->1. <!--[endif]-->MapReduce和分布式缓存
4.1. 创建Hadoop作业
Hadoop配置完成之后需要提交一些作业。SHDP让这个过程变得很简单，不管是map-reduce类型的还是streaming。下面看一个例子：
<hdp:job id=”mr-job”
input-path=”/input/
I. 简介
<!--[if !supportLists]-->1. <!--[endif]-->环境需求
Spring for Apache Hadoop 2.1使用JDK 7、Spring Framework 4.1编译测试，对应的Hadoop版本是2.6。
• Spring for Apache Hadoop 2.1支持如下版本的发布版：
• Apache Hadoop 2.4.1
• Apache Hadoop 2.5.2
•
作者：考斯丁.里奥，托马斯.里斯伯格，简尼.沃尔克拉蒂
目录
I. 简介
1. 环境需求
2. 其他资源
Spring for hadoop提供了统一的配置模式以简化Apache Hadoop的开发，并也易于调用HDFS、Mapreduce、Pig和Hive的API。它还提供了与Spring生态圈的其他项目集成的能力，例如Spring Intergration 和Spring Batch，让你可以优雅地开发大数据的提取/导出和Hadoop工作流项目。
从OReilly公司下载Spring-data：Morden Data Access for Enterprise Java一书（http://shop.oreilly.com/product/0636920024767.do#），这本书包含 ...
数据摄取层 Apache Flume,Storm
Hadoop存储 HDFS
NoSQL数据库 HBase,Cassandra
规则引擎 MapReduce任务
管理平台
查询工具 MapReduce,Pig,Hive
查询引擎 Solr
协作工具 ...
今天在RHEL 5.5上分布式安装hbase遇到一个错误，查看regionserver的log：
regionserver.HRegionServer:reportForDuty failed;sleeping and then retrying.
regionserver.HRegionServer:reportForDuty to master=localhost,6000,139xxxxxx with port=60020,startcode=139xxxxxx
regonserver.HRegionServer:error telling master we are up
然 ...
据说multi core这种方式在并发增加后相应速度比标准配置慢。《解密搜索引擎技术实战》中推荐使用部署在同一个web服务器中的多个solr应用这种方式。书上只是抛砖引玉，在此做个详细记录
1、tomcat安装sorl成功后。参考http://blog.csdn.net/zhufeng609/article/details/24350131
2、复制一份 $TOMCAT_HOME/webapp/ 下的solr.war改名为 newsolr.war
3、复制一份$TOMCAT_HOME/conf/Collection/locahost/ 下的solr.xml 改名为newsolr.xml ...
Spring与RMI整合
- 博客分类：
- Spring
不管使用java多久肯定听说过RMI（Remote Method Invocation 远程方法调用）。RMI第一次被引入Java开发平台是在JDK1.1，给程序员一个强大的Java程序间通信的工具。在RMI之前，程序员们唯一的选择远程调用选择是CORBA或者是难以驾驭 ...