Spring for hadoop提供了统一的配置模式以简化Apache Hadoop的开发,并也易于调用HDFS、Mapreduce、Pig和Hive的API。它还提供了与Spring生态圈的其他项目集成的能力,例如Spring Intergration 和Spring Batch,让你可以优雅地开发大数据的提取/导出和Hadoop工作流项目。
从OReilly公司下载Spring-data:Morden Data Access for Enterprise Java一书(http://shop.oreilly.com/product/0636920024767.do#),这本书包含了几章叙述了如何使用Sring for Apache Hadoop。此书的源码在Github网站可以下载(https://github.com/SpringSource/spring-data-book)。
特性
1、相对于使用Hadoop命令行工具,Spring for Hadoop可以创建使用依赖注入并且以标准的Java程序一样运行的应用。
2、与Spring Boot集成可以方便地创建与HDFS连接读取和写入数据的Spring应用。
3、创建和设置使用Java MapReduce、Streaming、Hive和HBase的应用。
4、扩展Spring Batch 以支持创建适合任意类型的基于Hadoop的Hadoop Job或者HDFS操作的工作流。
5、可以使用任意基于JVM的脚本语言来编写HDFS操作代码。
6、易于创建定制的基于Spring Boot的应用并能在YARN上部署并运行。
7、支持HBase的DAO组件(Template和Callbacks)。
8、支持Hadoop的安全认证。
相关推荐
Spring Data for Apache Hadoop API。 Spring Data for Apache Hadoop 开发文档
Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能,包括 HDFS 和 HBase。如果你需要简单的基于 Hadoop 进行作业调度,你可添加 Spring for Apache Hadoop 命名...
简单的工作流程 简单的工作流 MapReduce 示例。... 此示例依赖于wordcount-hadoop项目,因此您必须首先构建并安装它。 在本示例中,使用master主机名作为 Hadoop 服务器的 IP。 此示例与 Hadoop 2 或更高版本兼容
spring-hadoop-入门Spring for Apache Hadoop 入门示例
与 Spring Boot 和 Spring for Hadoop 集成,提供统一的配置模型和易于使用的 API 的访问,以便使用内置本地部署的 HDFS、MapReduce、Pig 和 Hive。 是的,您没听错——不需要运行 Hadoop 集群来测试您的代码! 该...
11. Spring for Apache Hadoop 12. Analyzing Data with Hadoop . 13. Creating Big Data Pipelines with Spring Batch and Spring Integration Part VI. Data Grids 14. GemFire: A Distributed Data Grid ...
Spring Data 包含多个子项目:Commons - 提供共享的基础框架,适合各个子项目使用,支持跨数据库持久化Hadoop - 基于 Spring 的 Hadoop 作业配置和一个 POJO 编程模型的 MapReduce 作业Key-Value - 集成了 Redis 和 ...
Other recipes include Spring enterprise solutions for topics such as Spring Java EE integration, Spring Integration, Spring Batch, Spring Remoting, messaging, transactions, and working with big data ...
Hadoop - 基于 Spring 的 Hadoop 作业配置和一个 POJO 编程模型的 MapReduce 作业 Key-Value - 集成了 Redis 和 Riak ,提供多个常用场景下的简单封装 Document - 集成文档数据库:CouchDB 和 MongoDB 并提供基本...
Thymeleaf 3 examples: Spring Mail This is an example application showing how to compose and send dynamic e-mails using Spring and Thymeleaf. With Thymeleaf you can compose text and ...
Spring enterprise: Spring Java EE integration, Spring Integration, Spring Batch, Spring Remoting, messaging, transactions, and working with big data and the cloud using Hadoop and MongoDB. Spring web...
Other recipes include Spring enterprise solutions for topics such as Spring Java EE integration, Spring Integration, Spring Batch, Spring Remoting, messaging, transactions, and working with big data ...
You'll learn how Spring Data's familiar and consistent programming model greatly reduces the learning curve for creating applications with newer data access technologies. And you'll discover how to ...
NULL 博文链接:https://wait7758521.iteye.com/blog/1933964
后端:Spring Boot + MyBatis + Hadoop 前端:Vue + Vue-Router + Vuex + Axios + Element-UI 开发环境: JDK: jdk1.8.0_221 MySQL:5.7.35 for Win64 (x86_64) Node:v10.16.0 IDE:IntelliJ IDEA 2021、VSCode/...
As NoSQL databases are commonly used with the Hadoop ecosystem the book also discusses using MongoDB with Apache Hive. Migration from other NoSQL databases (Apache Cassandra and Couchbase) and from ...
It was the platform that I’d been waiting on for a long time: a simple spring based framework with a lot of awesome features such as DataBase caching, Big data acceleration, Streaming and compute/...
其他必须手动配置的依赖项包括 Hadoop 2.5.0 HDFS、HBase 0.98.6.1、Hive 0.13.1 和正在运行的 Thrift Server。 还必须安装 Tomcat 7.0.51 并且 Spring Tool Suite 必须引用它才能运行 Web 应用程序。
Hadoop The Definitive Guide 4e 中文版.epub InfluxDB简明手册.epub Internet Of Things 101 Intel® Edison.epub introduction-to-touchdesigner.epub Istio官方文档中文版.epub Java NIO简明教程.epub Java面试...
matlab代码做游戏开源计算机科学书籍 索引 Ada Agda Alef Android ...Spock框架Hadoop Haskell Haxe HTML / CSS Bootstrap HTTP Icon iOS IoT IoT Isabelle / HOL J Java JasperReports Spring Spri