一、流程 大数据处理的基本流程如下 1.1 数据采集 通过各种形式将数据收集并聚合在一起 常见的数据类型： 结构化数据：mysql、oracle中存储的数据 半结构化数据：redis、xml等，需要对具体的值进行解析转化为结构化数据 非结构化数据：pdf、word、语音等数据 1.2 数据分析 批处理 对一段时间内的离线数据统一进行处理 流处理 实时处理数据 1.3 数据运用 处理完的数据可以提供个业务系统满足业务系统的数据需求，也有可鞥提供给机器学习算法使用。 1.4 常用框架 数据采集工具 结构化数据 kettle、datax、streamsets 日志采集 flume 分布式计算框架 批处理 map reduce 流处理 storm 混合处理 flink、spark 分布式文件系统 HDFS 分布式数据存储 MongoDB、HBase 查询分析框架 Hive、spark sql、flink sql 集群资源管理 hadoop yarn 分布式协调工具 zookeeper 数据迁移工具 Sqooq

大数据基础--简介

一、简介 cas默认是使用了用户名密码登录 我们可以在用户名密码登陆的基础上新增验证码登录、短信验证码登录等功能 二、验证码登录 2.1 验证码工具类 新增验证码得工具类 package org.apereo.cas.custom.util; import java.awt.*; import java.awt.image.BufferedImage; import java.util.Random; public class CaptchaUtil { // 随机产生的字符串 private static final String RANDOM_STRS = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"; private static final String FONT_NAME = "Fixedsys"; private static final int FONT_SIZE = 18; private Random random = new Random(); private int width =....

cas基础--添加验证码

一、创建密钥 cas配置密钥的步骤不是必选的，如果不想使用证书，可以跳过此步骤，但是需要做特殊配置，在4.5服务配置中有相关配置说明 cas服务端配置成https需要配置生成密钥，CAS官方推荐使用JDK的命令来生成密钥库和证书，可以参考cas-配置SSL 1.1 创建密钥库 在项目目录下新建文件夹thekeystore 执行命令，特别注意后面输入的名字名称需要时自己的域名 keytool -genkey -alias cas -keyalg RSA -validity 36500 -keystore D:\workspace\ythxdny\单点登录\cas-overlay-template-5.3\thekeystore\cas.keystore genkey 生成密钥 alias 别名 keyalg 密钥算法 validity 过期时间(天) keystore 存储位置 1.2 导出证书 keytool -export -file D:\workspace\ythxdny\单点登录\cas-overlay-template-5.3\etc\cas\config\cas.crt .....

cas基础--启用https证书

一、服务注册 服务配置可以从json中引入，需要先在pom中添加依赖 <!--获取json格式的服务注册配置信息，service是以Json格式时添加此依赖--> <dependency> <groupId>org.apereo.cas</groupId> <artifactId>cas-server-support-json-service-registry</artifactId> <version>${cas.version}</version> </dependency> 在application.properties中新增配置 # 如果不使用https就添加下面配置，默认为true cas.tgc.secure=false # 从json文件加载服务 cas.serviceRegistry.initFromJson=true # 服务默认加载位置 cas.serviceRegistry.json.location=classpath:/services 在reso.......

cas基础--服务注册

一、自定义主题(登录\登出页面) 可以参考cas自定义登录页面 1.1 创建主题样式文件夹 创建文件夹 src/main/resources/static/themes/[theme_name]，将css和js文件放在这个文件加下 1.2 配置主题属性 在resources目录下创建一个[theme_name].properties的配置文件,配置上css和js的文件位置 文件中的自定义配置，是我自己的登录页面的css和javascript文件，换成自己的即可 # 自定义配置 customTheme.javascript.file=/themes/customTheme/js/cas.js customTheme.standard.css.file=/themes/customTheme/css/dmaku2.css customTheme.login.images.path=/themes/customTheme/images customTheme.javascript.code.file=/themes/customTheme/js/encode.js customTheme.j....

cas基础--自定义登录页面