一、流程 大数据处理的基本流程如下 1.1 数据采集 通过各种形式将数据收集并聚合在一起 常见的数据类型: 结构化数据:mysql、oracle中存储的数据 半结构化数据:redis、xml等,需要对具体的值进行解析转化为结构化数据 非结构化数据:pdf、word、语音等数据 1.2 数据分析 批处理 对一段时间内的离线数据统一进行处理 流处理 实时处理数据 1.3 数据运用 处理完的数据可以提供个业务系统满足业务系统的数据需求,也有可鞥提供给机器学习算法使用。 1.4 常用框架 数据采集工具 结构化数据 kettle、datax、streamsets 日志采集 flume 分布式计算框架 批处理 map reduce 流处理 storm 混合处理 flink、spark 分布式文件系统 HDFS 分布式数据存储 MongoDB、HBase 查询分析框架 Hive、spark sql、flink sql 集群资源管理 hadoop yarn 分布式协调工具 zookeeper 数据迁移工具 Sqooq 有更新! 大数据基础--简介 大数据
cas基础--简介及下载运行 - 问尤龙の时光 (wenyoulong.com) cas基础--自定义认证策略 - 问尤龙の时光 (wenyoulong.com) cas基础--自定义登录页面 - 问尤龙の时光 (wenyoulong.com) cas基础--服务注册 - 问尤龙の时光 (wenyoulong.com) cas基础--添加验证码 - 问尤龙の时光 (wenyoulong.com) cas基础--客户端集成 - 问尤龙の时光 (wenyoulong.com) 有更新! CAS知识总结 CAS
一、简介 cas默认是使用了用户名密码登录 我们可以在用户名密码登陆的基础上新增验证码登录、短信验证码登录等功能 二、验证码登录 2.1 验证码工具类 新增验证码得工具类 package org.apereo.cas.custom.util; import java.awt.*; import java.awt.image.BufferedImage; import java.util.Random; public class CaptchaUtil { // 随机产生的字符串 private static final String RANDOM_STRS = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"; private static final String FONT_NAME = "Fixedsys"; private static final int FONT_SIZE = 18; private Random random = new Random(); private int width =.... cas基础--添加验证码 CAS
一、服务注册 服务配置可以从json中引入,需要先在pom中添加依赖 <!--获取json格式的服务注册配置信息,service是以Json格式时添加此依赖--> <dependency> <groupId>org.apereo.cas</groupId> <artifactId>cas-server-support-json-service-registry</artifactId> <version>${cas.version}</version> </dependency> 在application.properties中新增配置 # 如果不使用https就添加下面配置,默认为true cas.tgc.secure=false # 从json文件加载服务 cas.serviceRegistry.initFromJson=true # 服务默认加载位置 cas.serviceRegistry.json.location=classpath:/services 在reso.... cas基础--服务注册 CAS
一、自定义主题(登录\登出页面) 可以参考cas自定义登录页面 1.1 创建主题样式文件夹 创建文件夹 src/main/resources/static/themes/[theme_name],将css和js文件放在这个文件加下 1.2 配置主题属性 在resources目录下创建一个[theme_name].properties的配置文件,配置上css和js的文件位置 文件中的自定义配置,是我自己的登录页面的css和javascript文件,换成自己的即可 # 自定义配置 customTheme.javascript.file=/themes/customTheme/js/cas.js customTheme.standard.css.file=/themes/customTheme/css/dmaku2.css customTheme.login.images.path=/themes/customTheme/images customTheme.javascript.code.file=/themes/customTheme/js/encode.js customTheme.j.... cas基础--自定义登录页面 CAS