一、下载hadoop Index of /hadoop/common (apache.org) 在这个地址中下载hadoop安装包，选择一个稳定版或者自己需要的版本下载即可 我下载了稳定版的hadoop，链接如下 https://dlcdn.apache.org/hadoop/common/stable/hadoop-3.3.6.tar.gz 二、下载对应版本的jdk Hadoop Java Versions - Hadoop - Apache Software Foundation 注意里面标注了有几个版本的java8，与hadoop可能存在一些兼容问题 这是我下载的版本 https://download.oracle.com/otn/java/jdk/8u391-b13/b291ca3e0c8548b5a51d5a5f50063037/jdk-8u391-linux-x64.tar.gz?AuthParam=1697686185_1fd488f4fad7ef4e80082165a49c9f3e 三、服务器配置 配置ssh免密登录，参考SSH免密登录 - 问尤龙の时光 (wenyou....

一、概述 Zookeeper分布式服务框架是一个分布式应用程序协调服务，提供分布式、高可用性的协调服务能力; 安全模式下Zookeeper依赖Kerberos和LdapServer进行安全认证，非安全模式则不依赖于Kerberos和LdapServer。Zookeeper作为底层组件被上层组件使用并依赖，如Kafka，HDFS，HBase，Storm等 二、体系结构 2.1 服务架构 zookeeper集群是由一组server节点组成，这一组server节点中只有一个leader节点，其他节点都是follower 启动时选举出leader，各个节点互相投票，票数最多的节点选举为leader zookeeper使用自定义的原子消息协议，保证了整个系统中的节点数据得一致性 leader节点在接收到数据变更请求后，先写磁盘再写内存 2.2 容灾能力 Zookeeper完成选举就可以对外提供服务 对n个实例得服务 n为奇数时，假定n=2x+1,则成为leader得节点需要获得x+1票，容灾能力为x n为偶数时，假定n=2x+2,则成为leader得节点需要获得x+2票(大于一半),容灾能力为....

一、简介 HDFS（Hadoop Distributed File System）是Hadoop下的分布式文件系统具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、架构 HDFS架构如下所示，主要包含Namenode、client、datanode三个部分，一个HDFS系统，可以有多个client和datanode但是namenode只能有一个 client客户端包含HDFS的接口，用于访问HDFS的文件 namenode存储文件名，文件元数据，文件与数据块的对应关系 datanode是用于存储数据的节点 三、HDFS相关概念 3.1 block-块 HDFS默认一个块是128M，一个文件可以分为多个块 块的大小远远大于普通文件的大小，可以起到最小化寻址开销的作用 块的好处 支持大规模文件存储，将文件分成多个块，存储在不同节点上 简化系统设计，块的大小是固定的，可以快速查询有多少个块 适合数据备份 3.2 namenode和datanode namenodedatanode 存储元数据存储文件内容 数据保存在内存中数据保存在磁盘中 保存文件、block，datanode之间的....

一、流程 大数据处理的基本流程如下 1.1 数据采集 通过各种形式将数据收集并聚合在一起 常见的数据类型： 结构化数据：mysql、oracle中存储的数据 半结构化数据：redis、xml等，需要对具体的值进行解析转化为结构化数据 非结构化数据：pdf、word、语音等数据 1.2 数据分析 批处理 对一段时间内的离线数据统一进行处理 流处理 实时处理数据 1.3 数据运用 处理完的数据可以提供个业务系统满足业务系统的数据需求，也有可鞥提供给机器学习算法使用。 1.4 常用框架 数据采集工具 结构化数据 kettle、datax、streamsets 日志采集 flume 分布式计算框架 批处理 map reduce 流处理 storm 混合处理 flink、spark 分布式文件系统 HDFS 分布式数据存储 MongoDB、HBase 查询分析框架 Hive、spark sql、flink sql 集群资源管理 hadoop yarn 分布式协调工具 zookeeper 数据迁移工具 Sqooq

一、引入依赖 <cas-client.version>2.3.0-GA</cas-client.version> <dependency> <groupId>net.unicon.cas</groupId> <artifactId>cas-client-autoconfig-support</artifactId> <version>${cas-client.version}</version> </dependency> 引入spring-security-cas <dependency> <groupId>org.springframework.security</groupId> <artifactId>spring-security-cas</artifactId> </dependency> spring-security-cas中包含spring security依赖和cas....

一、简介 cas默认是使用了用户名密码登录 我们可以在用户名密码登陆的基础上新增验证码登录、短信验证码登录等功能 二、验证码登录 2.1 验证码工具类 新增验证码得工具类 package org.apereo.cas.custom.util; import java.awt.*; import java.awt.image.BufferedImage; import java.util.Random; public class CaptchaUtil { // 随机产生的字符串 private static final String RANDOM_STRS = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"; private static final String FONT_NAME = "Fixedsys"; private static final int FONT_SIZE = 18; private Random random = new Random(); private int width =....

一、创建密钥 cas配置密钥的步骤不是必选的，如果不想使用证书，可以跳过此步骤，但是需要做特殊配置，在4.5服务配置中有相关配置说明 cas服务端配置成https需要配置生成密钥，CAS官方推荐使用JDK的命令来生成密钥库和证书，可以参考cas-配置SSL 1.1 创建密钥库 在项目目录下新建文件夹thekeystore 执行命令，特别注意后面输入的名字名称需要时自己的域名 keytool -genkey -alias cas -keyalg RSA -validity 36500 -keystore D:\workspace\ythxdny\单点登录\cas-overlay-template-5.3\thekeystore\cas.keystore genkey 生成密钥 alias 别名 keyalg 密钥算法 validity 过期时间(天) keystore 存储位置 1.2 导出证书 keytool -export -file D:\workspace\ythxdny\单点登录\cas-overlay-template-5.3\etc\cas\config\cas.crt ....

一、服务注册 服务配置可以从json中引入，需要先在pom中添加依赖 <!--获取json格式的服务注册配置信息，service是以Json格式时添加此依赖--> <dependency> <groupId>org.apereo.cas</groupId> <artifactId>cas-server-support-json-service-registry</artifactId> <version>${cas.version}</version> </dependency> 在application.properties中新增配置 # 如果不使用https就添加下面配置，默认为true cas.tgc.secure=false # 从json文件加载服务 cas.serviceRegistry.initFromJson=true # 服务默认加载位置 cas.serviceRegistry.json.location=classpath:/services 在reso....

一、自定义主题(登录\登出页面) 可以参考cas自定义登录页面 1.1 创建主题样式文件夹 创建文件夹 src/main/resources/static/themes/[theme_name]，将css和js文件放在这个文件加下 1.2 配置主题属性 在resources目录下创建一个[theme_name].properties的配置文件,配置上css和js的文件位置 文件中的自定义配置，是我自己的登录页面的css和javascript文件，换成自己的即可 # 自定义配置 customTheme.javascript.file=/themes/customTheme/js/cas.js customTheme.standard.css.file=/themes/customTheme/css/dmaku2.css customTheme.login.images.path=/themes/customTheme/images customTheme.javascript.code.file=/themes/customTheme/js/encode.js customTheme.j....

一、自定义配置 1.1 配置类 cas官方给出了自定义配置的方法，详情可以参考cas配置扩展 package org.apereo.cas.custom.config; @Configuration @EnableConfigurationProperties(CasConfigurationProperties.class) public class CustomCasConfiguration { // todo 将自己的配置类注册到容器 } 1.2 自动加载配置 这里需要先引入maven依赖 <!--配置信息--> <dependency> <groupId>org.apereo.cas</groupId> <artifactId>cas-server-core-configuration-api</artifactId> <version>${cas.version}</version> </dependency> 官方推荐新增配置文件如下 src/main/res....

一、简介 cas架构如下，分为客户端和服务端两大部分 官方文档地址(6.6.X版本) 1.1 客户端 启用了cas的应用程序，通过cas支持的协议与服务端通信 1.1.1 客户端支持的平台 java Apache httpd Server .net php Perl Python Ruby 1.2 服务端 cas服务端是建立在spring上的Java servlet，用于验证用户身份，通过签发和验证票据来授予应用访问权限 1.3 支持的协议 cas SAML 1.1和2 OpenID Connect OpenID OAuth 2.0\ WS Federation 1.4 CAS 组件 cas服务器由以下三个部分组成 web（Spring MVC/Webflow） 票据 认证 二、war overlay 2.1 环境要求 jdk11 apache tomcat 2.2 war overlay cas官方不建议拉取源码自己构建，而是推荐我们通过war overlay的形式来构建我们的cas服务。 war overlay是一种对抗重复代码或资源的策略，我们可以通过war overlay来插入....

cas基础--简介及下载运行 - 问尤龙の时光 (wenyoulong.com) cas基础--自定义认证策略 - 问尤龙の时光 (wenyoulong.com) cas基础--自定义登录页面 - 问尤龙の时光 (wenyoulong.com) cas基础--服务注册 - 问尤龙の时光 (wenyoulong.com) cas基础--添加验证码 - 问尤龙の时光 (wenyoulong.com) cas基础--客户端集成 - 问尤龙の时光 (wenyoulong.com)

一、简介 Go 是一个开源的编程语言，它能让构造简单、可靠且高效的软件变得容易，具有以下特性 支持并发 内存管理、编译迅速 函数多返回值 异常处理 二、安装 2.1 下载安装 下载地址All releases - The Go Programming Language (google.cn) 选择稳定版本 2.2 环境变量配置 配置两个环境变量，两个变量不要指向同一个目录 GOROOT为go的安装目录 GOPATH为go的工作空间 然后再path环境变量中新增两行 %GOPATH%\bin %GOROOT%\bin 在控制台输出go version，提示版本信息就安装成功了 2.3 hello world 我使用了goland作为编译器，下载后开箱即用，创建一个go工程，命名为hello，在根目录下新建一个main包，然后建立helloworld.go,内容如下 package main import "fmt" func main() { fmt.Println("hello world") } 运行结果为 三、基础知识 3.1 语法 3.1.1 语句分隔符 在c,java等语言中....

一、关闭病毒防护 激活前关闭windows病毒防护 二、激活工具 一键鸡活工具.zip 下载解压后，执行exe文件即可 会在C:\Program Files目录下生成一个tools文件，里面有一个ja-netfilter.jar，jetbrains的bin文件夹下都会有一个vmoptions文件，里面有个配置会只想这个jar 三、相关信息 激活卡号：938542e385963ee6 【 jetbrains全家桶激活】（下载了压缩包就不用下载这个了） 下面链接复制到电脑浏览器打开即可直接下载 https://www.lanzout.com/b031jppsh 密码:7962 【注意】【注意】【注意】 下载后请退出杀毒软件，关闭windows安全中心病毒防护以后再运行一键鸡活！ 软件安全无毒放心使用！ 全家桶软件官网下载链接： https://www.jetbrains.com/products/ 下载后，直接安装，不用打开，直接执行exe文件即可

一、简介 聚合就是对分散的数据进行统计、分析、运算,es提供了一些列的聚合操作API，聚合的字段不能被分词 桶聚合(Bucket Aggregation)：对文档进行分组 term聚合：按照文档字段值进行分组 date histogram: 按日期阶梯分组 指标(Metrics Aggregation)聚合：求最大值，最小值，平均值等 avg：求平均值 max：求最大值 min：求最小值 stats：同时求最大值、最小值、平均值等 管道(Pipeline Aggregation)聚合：在聚合结果的基础上再次做聚合操作 二、桶聚合 elasticsearch使用桶聚合对文档进行分组，类似SQL中的group by 2.1 语法 该示例需要删除注释才能运行 GET bank_search { "size":0, // 文档的数据条数，设置为0表示不显示文档，只显示聚合结果 "aggs":{ // 定义聚合 "ageAggs":{ // 聚合的名称 "terms":{ // 聚合的类型，我们按字段分组所以选择了terms "field":"age",// 用于分组的字段 "size":....