一、简介 HDFS（Hadoop Distributed File System）是Hadoop下的分布式文件系统具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 二、架构 HDFS架构如下所示，主要包含Namenode、client、datanode三个部分，一个HDFS系统，可以有多个client和datanode但是namenode只能有一个 client客户端包含HDFS的接口，用于访问HDFS的文件 namenode存储文件名，文件元数据，文件与数据块的对应关系 datanode是用于存储数据的节点 三、HDFS相关概念 3.1 block-块 HDFS默认一个块是128M，一个文件可以分为多个块 块的大小远远大于普通文件的大小，可以起到最小化寻址开销的作用 块的好处 支持大规模文件存储，将文件分成多个块，存储在不同节点上 简化系统设计，块的大小是固定的，可以快速查询有多少个块 适合数据备份 3.2 namenode和datanode namenodedatanode 存储元数据存储文件内容 数据保存在内存中数据保存在磁盘中 保存文件、block，datanode之间的....

一、流程 大数据处理的基本流程如下 1.1 数据采集 通过各种形式将数据收集并聚合在一起 常见的数据类型： 结构化数据：mysql、oracle中存储的数据 半结构化数据：redis、xml等，需要对具体的值进行解析转化为结构化数据 非结构化数据：pdf、word、语音等数据 1.2 数据分析 批处理 对一段时间内的离线数据统一进行处理 流处理 实时处理数据 1.3 数据运用 处理完的数据可以提供个业务系统满足业务系统的数据需求，也有可鞥提供给机器学习算法使用。 1.4 常用框架 数据采集工具 结构化数据 kettle、datax、streamsets 日志采集 flume 分布式计算框架 批处理 map reduce 流处理 storm 混合处理 flink、spark 分布式文件系统 HDFS 分布式数据存储 MongoDB、HBase 查询分析框架 Hive、spark sql、flink sql 集群资源管理 hadoop yarn 分布式协调工具 zookeeper 数据迁移工具 Sqooq

一、引入依赖 <cas-client.version>2.3.0-GA</cas-client.version> <dependency> <groupId>net.unicon.cas</groupId> <artifactId>cas-client-autoconfig-support</artifactId> <version>${cas-client.version}</version> </dependency> 引入spring-security-cas <dependency> <groupId>org.springframework.security</groupId> <artifactId>spring-security-cas</artifactId> </dependency> spring-security-cas中包含spring security依赖和cas....

一、简介 cas默认是使用了用户名密码登录 我们可以在用户名密码登陆的基础上新增验证码登录、短信验证码登录等功能 二、验证码登录 2.1 验证码工具类 新增验证码得工具类 package org.apereo.cas.custom.util; import java.awt.*; import java.awt.image.BufferedImage; import java.util.Random; public class CaptchaUtil { // 随机产生的字符串 private static final String RANDOM_STRS = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"; private static final String FONT_NAME = "Fixedsys"; private static final int FONT_SIZE = 18; private Random random = new Random(); private int width =....

一、创建密钥 cas配置密钥的步骤不是必选的，如果不想使用证书，可以跳过此步骤，但是需要做特殊配置，在4.5服务配置中有相关配置说明 cas服务端配置成https需要配置生成密钥，CAS官方推荐使用JDK的命令来生成密钥库和证书，可以参考cas-配置SSL 1.1 创建密钥库 在项目目录下新建文件夹thekeystore 执行命令，特别注意后面输入的名字名称需要时自己的域名 keytool -genkey -alias cas -keyalg RSA -validity 36500 -keystore D:\workspace\ythxdny\单点登录\cas-overlay-template-5.3\thekeystore\cas.keystore genkey 生成密钥 alias 别名 keyalg 密钥算法 validity 过期时间(天) keystore 存储位置 1.2 导出证书 keytool -export -file D:\workspace\ythxdny\单点登录\cas-overlay-template-5.3\etc\cas\config\cas.crt ....

一、服务注册 服务配置可以从json中引入，需要先在pom中添加依赖 <!--获取json格式的服务注册配置信息，service是以Json格式时添加此依赖--> <dependency> <groupId>org.apereo.cas</groupId> <artifactId>cas-server-support-json-service-registry</artifactId> <version>${cas.version}</version> </dependency> 在application.properties中新增配置 # 如果不使用https就添加下面配置，默认为true cas.tgc.secure=false # 从json文件加载服务 cas.serviceRegistry.initFromJson=true # 服务默认加载位置 cas.serviceRegistry.json.location=classpath:/services 在reso....

一、自定义主题(登录\登出页面) 可以参考cas自定义登录页面 1.1 创建主题样式文件夹 创建文件夹 src/main/resources/static/themes/[theme_name]，将css和js文件放在这个文件加下 1.2 配置主题属性 在resources目录下创建一个[theme_name].properties的配置文件,配置上css和js的文件位置 文件中的自定义配置，是我自己的登录页面的css和javascript文件，换成自己的即可 # 自定义配置 customTheme.javascript.file=/themes/customTheme/js/cas.js customTheme.standard.css.file=/themes/customTheme/css/dmaku2.css customTheme.login.images.path=/themes/customTheme/images customTheme.javascript.code.file=/themes/customTheme/js/encode.js customTheme.j....

一、自定义配置 1.1 配置类 cas官方给出了自定义配置的方法，详情可以参考cas配置扩展 package org.apereo.cas.custom.config; @Configuration @EnableConfigurationProperties(CasConfigurationProperties.class) public class CustomCasConfiguration { // todo 将自己的配置类注册到容器 } 1.2 自动加载配置 这里需要先引入maven依赖 <!--配置信息--> <dependency> <groupId>org.apereo.cas</groupId> <artifactId>cas-server-core-configuration-api</artifactId> <version>${cas.version}</version> </dependency> 官方推荐新增配置文件如下 src/main/res....

一、简介 cas架构如下，分为客户端和服务端两大部分 官方文档地址(6.6.X版本) 1.1 客户端 启用了cas的应用程序，通过cas支持的协议与服务端通信 1.1.1 客户端支持的平台 java Apache httpd Server .net php Perl Python Ruby 1.2 服务端 cas服务端是建立在spring上的Java servlet，用于验证用户身份，通过签发和验证票据来授予应用访问权限 1.3 支持的协议 cas SAML 1.1和2 OpenID Connect OpenID OAuth 2.0\ WS Federation 1.4 CAS 组件 cas服务器由以下三个部分组成 web（Spring MVC/Webflow） 票据 认证 二、war overlay 2.1 环境要求 jdk11 apache tomcat 2.2 war overlay cas官方不建议拉取源码自己构建，而是推荐我们通过war overlay的形式来构建我们的cas服务。 war overlay是一种对抗重复代码或资源的策略，我们可以通过war overlay来插入....

cas基础--简介及下载运行 - 问尤龙の时光 (wenyoulong.com) cas基础--自定义认证策略 - 问尤龙の时光 (wenyoulong.com) cas基础--自定义登录页面 - 问尤龙の时光 (wenyoulong.com) cas基础--服务注册 - 问尤龙の时光 (wenyoulong.com) cas基础--添加验证码 - 问尤龙の时光 (wenyoulong.com) cas基础--客户端集成 - 问尤龙の时光 (wenyoulong.com)

一、简介 Go 是一个开源的编程语言，它能让构造简单、可靠且高效的软件变得容易，具有以下特性 支持并发 内存管理、编译迅速 函数多返回值 异常处理 二、安装 2.1 下载安装 下载地址All releases - The Go Programming Language (google.cn) 选择稳定版本 2.2 环境变量配置 配置两个环境变量，两个变量不要指向同一个目录 GOROOT为go的安装目录 GOPATH为go的工作空间 然后再path环境变量中新增两行 %GOPATH%\bin %GOROOT%\bin 在控制台输出go version，提示版本信息就安装成功了 2.3 hello world 我使用了goland作为编译器，下载后开箱即用，创建一个go工程，命名为hello，在根目录下新建一个main包，然后建立helloworld.go,内容如下 package main import "fmt" func main() { fmt.Println("hello world") } 运行结果为 三、基础知识 3.1 语法 3.1.1 语句分隔符 在c,java等语言中....

一、关闭病毒防护 激活前关闭windows病毒防护 二、激活工具 一键鸡活工具.zip 下载解压后，执行exe文件即可 会在C:\Program Files目录下生成一个tools文件，里面有一个ja-netfilter.jar，jetbrains的bin文件夹下都会有一个vmoptions文件，里面有个配置会只想这个jar 三、相关信息 激活卡号：938542e385963ee6 【 jetbrains全家桶激活】（下载了压缩包就不用下载这个了） 下面链接复制到电脑浏览器打开即可直接下载 https://www.lanzout.com/b031jppsh 密码:7962 【注意】【注意】【注意】 下载后请退出杀毒软件，关闭windows安全中心病毒防护以后再运行一键鸡活！ 软件安全无毒放心使用！ 全家桶软件官网下载链接： https://www.jetbrains.com/products/ 下载后，直接安装，不用打开，直接执行exe文件即可

一、简介 聚合就是对分散的数据进行统计、分析、运算,es提供了一些列的聚合操作API，聚合的字段不能被分词 桶聚合(Bucket Aggregation)：对文档进行分组 term聚合：按照文档字段值进行分组 date histogram: 按日期阶梯分组 指标(Metrics Aggregation)聚合：求最大值，最小值，平均值等 avg：求平均值 max：求最大值 min：求最小值 stats：同时求最大值、最小值、平均值等 管道(Pipeline Aggregation)聚合：在聚合结果的基础上再次做聚合操作 二、桶聚合 elasticsearch使用桶聚合对文档进行分组，类似SQL中的group by 2.1 语法 该示例需要删除注释才能运行 GET bank_search { "size":0, // 文档的数据条数，设置为0表示不显示文档，只显示聚合结果 "aggs":{ // 定义聚合 "ageAggs":{ // 聚合的名称 "terms":{ // 聚合的类型，我们按字段分组所以选择了terms "field":"age",// 用于分组的字段 "size":....

一、获取基础数据 访问7.4版本测试数据下载地址 获取到数据后，通过kibana批量添加数据 二、搜索 2.1 match 对指定字段进行分词匹配数据 match中，可以通过空格分隔，输入多个词进行匹配，会将符合条件的结果输出 此时如果我们搜索的文本本身就是带着空格的，不希望对他进行分词，则使用match_prase进行匹配 2.2 只查询指定字段 前面使用了match关键字查询数据，发现字段很多，可以通过source关键字，来过滤自己需要的字段 2.3 排序 使用sort关键字可以按照指定字段规则进行排序，如下按照年龄降序 2.3 分页查询 分页查询使用from、size实现，等同于mysql的limit的两个参数 from：数据开始下标 size：查询的数据条数 2.4 bool查询 前面我们使用了match来匹配字段，但是如果我们有多个查询字段，则可以通过bool来组合这些查询条件 2.4.1 must 使用must命令在查询数据时，会查找符合must中定义的所有规则的数据，等同于数据库的and条件 2.4.2 should should命令在查询数据时，查询的数据中，只要有任意....

一、基础API elasticsearch封装了lucene并封装了restful api用于操作； 192.168.56.5:9200是我的elasticsearch部署得服务器及端口，换成自己的即可。 1.1 获取基础数据 http://192.168.56.5:9200/_cat/health 查询节点健康状况 http://192.168.56.5:9200/_cat/master 查看主节点信息 http://192.168.56.5:9200/_cat/nodes 查询所有节点信息 http://192.168.56.5:9200/_cat/indices 查询所有索引信息 1.2 post和put类型请求插入更新数据 1.2.1 put类型请求 put类型的请求可以向elasticsearch发送并存储数据，需要携带ID 该请求中，索引为customer，类型为external，数据ID为1，数据字段值在请求体中 put带ID保存，第一次会创建数据，后面在发送就会根据id更新数据 发送成功后，返回 在执行一次后返回 可以看到，ID任然保持不变，第二次执行后，_versio....