一、概述 Zookeeper分布式服务框架是一个分布式应用程序协调服务,提供分布式、高可用性的协调服务能力; 安全模式下Zookeeper依赖Kerberos和LdapServer进行安全认证,非安全模式则不依赖于Kerberos和LdapServer。Zookeeper作为底层组件被上层组件使用并依赖,如Kafka,HDFS,HBase,Storm等 二、体系结构 2.1 服务架构 zookeeper集群是由一组server节点组成,这一组server节点中只有一个leader节点,其他节点都是follower 启动时选举出leader,各个节点互相投票,票数最多的节点选举为leader zookeeper使用自定义的原子消息协议,保证了整个系统中的节点数据得一致性 leader节点在接收到数据变更请求后,先写磁盘再写内存 2.2 容灾能力 Zookeeper完成选举就可以对外提供服务 对n个实例得服务 n为奇数时,假定n=2x+1,则成为leader得节点需要获得x+1票,容灾能力为x n为偶数时,假定n=2x+2,则成为leader得节点需要获得x+2票(大于一半),容灾能力为.... 大数据基础--Zookeeper 大数据
一、简介 HDFS(Hadoop Distributed File System)是Hadoop下的分布式文件系统具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。 二、架构 HDFS架构如下所示,主要包含Namenode、client、datanode三个部分,一个HDFS系统,可以有多个client和datanode但是namenode只能有一个 client客户端包含HDFS的接口,用于访问HDFS的文件 namenode存储文件名,文件元数据,文件与数据块的对应关系 datanode是用于存储数据的节点 三、HDFS相关概念 3.1 block-块 HDFS默认一个块是128M,一个文件可以分为多个块 块的大小远远大于普通文件的大小,可以起到最小化寻址开销的作用 块的好处 支持大规模文件存储,将文件分成多个块,存储在不同节点上 简化系统设计,块的大小是固定的,可以快速查询有多少个块 适合数据备份 3.2 namenode和datanode namenodedatanode 存储元数据存储文件内容 数据保存在内存中数据保存在磁盘中 保存文件、block,datanode之间的.... 有更新! 大数据基础--HDFS 大数据
一、流程 大数据处理的基本流程如下 1.1 数据采集 通过各种形式将数据收集并聚合在一起 常见的数据类型: 结构化数据:mysql、oracle中存储的数据 半结构化数据:redis、xml等,需要对具体的值进行解析转化为结构化数据 非结构化数据:pdf、word、语音等数据 1.2 数据分析 批处理 对一段时间内的离线数据统一进行处理 流处理 实时处理数据 1.3 数据运用 处理完的数据可以提供个业务系统满足业务系统的数据需求,也有可鞥提供给机器学习算法使用。 1.4 常用框架 数据采集工具 结构化数据 kettle、datax、streamsets 日志采集 flume 分布式计算框架 批处理 map reduce 流处理 storm 混合处理 flink、spark 分布式文件系统 HDFS 分布式数据存储 MongoDB、HBase 查询分析框架 Hive、spark sql、flink sql 集群资源管理 hadoop yarn 分布式协调工具 zookeeper 数据迁移工具 Sqooq 有更新! 大数据基础--简介 大数据
cas基础--简介及下载运行 - 问尤龙の时光 (wenyoulong.com) cas基础--自定义认证策略 - 问尤龙の时光 (wenyoulong.com) cas基础--自定义登录页面 - 问尤龙の时光 (wenyoulong.com) cas基础--服务注册 - 问尤龙の时光 (wenyoulong.com) cas基础--添加验证码 - 问尤龙の时光 (wenyoulong.com) cas基础--客户端集成 - 问尤龙の时光 (wenyoulong.com) 有更新! CAS知识总结 CAS
一、简介 cas默认是使用了用户名密码登录 我们可以在用户名密码登陆的基础上新增验证码登录、短信验证码登录等功能 二、验证码登录 2.1 验证码工具类 新增验证码得工具类 package org.apereo.cas.custom.util; import java.awt.*; import java.awt.image.BufferedImage; import java.util.Random; public class CaptchaUtil { // 随机产生的字符串 private static final String RANDOM_STRS = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"; private static final String FONT_NAME = "Fixedsys"; private static final int FONT_SIZE = 18; private Random random = new Random(); private int width =.... cas基础--添加验证码 CAS