一 、下载 去github中下载自己的elasticsearch对应版本的分词器插件，我的elasticsearch版本为7.4.2，所以我下载的IK分词器插件版本也是7.4.2 Releases · medcl/elasticsearch-analysis-ik (github.com) 二、安装 使用docker创建elasticsearch时，我们关联了一个plugins目录，将解压后的目录移动到该文件夹下 如果是下载包进行的安装，也可以在elasticsearch目录下找到plugins文件夹 然后重启elasticsearch即可 重启后，查看elasticsearch日志提示已经加载了IK分词器 三、测试 IK分词器支持最细粒度分词(ik_max_word)和最粗粒度分词(ik_smart) 最细粒度分词会将输入的文本，根据词典进行最细粒度的拆分，一段文本可能会分出很多词，如下示例 在kibana中使用最细粒度分词对美利坚合众国进行分词 GET _analyze { "analyzer": "ik_max_word", "text": "美利坚合众国" } 得到结果如下 .... 有更新！ elasticsearch基础--IK分词器 Elasticsearch
三大特性 封装 利用抽象数据类型，将数据和基于数据的操作封装在一起，构成一个实体，将数据和操作细节隐藏在内部，在程序中控制对象的数据及行为的访问级别，用户不需要知道对象内部的细节，可以直接通过对象对外提供的接口来访问对象。 优点： 减少耦合 方便维护 继承 继承实现了IS-A关系，集成遵循里氏替换原则，子类对象必须能够替换掉所有父类对象。子类可以继承父类的非private的属性和方法。 多态 多态分为运行时多态和编译时多态。 编译时多态指方法的重载 运行时多态指的是程序中定义的对象引用的具体类型在运行期间才能确定 满足以下三个条件就会触发运行时多态 继承关系 重写 向上转型 下述代码中，动物类（Animal）有两个子类，猫（Cat）和狗（Dog），都重写了父类的eat()方法，在方法中，使用了Animal作为引用对象类型来引用Cat和Dog对象，调用方法时，会调用实际对象类型的eat方法而不是Animal的eat方法 public class Animal { public void eat(){ System.out.println("动物在吃东西"); } } public cl.... 有更新！ Java基础--面向对象 Java基础
一、简介 redis是一个基于网络的、高性能的key-value内存数据库 redis跟memcached类似，不过数据可以持久化，支持的数据类型丰富 redis有以下几个特点 高性能 低时延 丰富数据结构存取 支持持久化 二、应用场景 取最新N个数据的操作，例如博客网站获取最近的文章 排行榜取TOP N，上面得需求以时间为权重，这里取TOP N以条件为权重 设置精确过期时间得应用，如用户会话信息 计数器应用，比如记录用户访问网站次数 缓存，如缓存系统中经常访问的数据 发布/订阅功能 手机验证码，使用expire设置过期时间 二、业务流程 2.1 redis架构 无中心自组织的架构，节点之间使用Gossip协议来交换节点状态信息 各节点维护key->server得映射关系 Client节点可以向任意节点发起请求，节点不会转发请求，只是重定向client 如果client在第一次请求和重定向之间，cluster拓扑发生变化，则第二次重定向将被再次重定向，直到找到正确的server 如下图所示，在第一次请求时，如果请求的数据不在节点中，redis会要求客户端重定向到正确节点，如果在.... 有更新！ 大数据基础--redis 程序人生
一、创建密钥 cas配置密钥的步骤不是必选的，如果不想使用证书，可以跳过此步骤，但是需要做特殊配置，在4.5服务配置中有相关配置说明 cas服务端配置成https需要配置生成密钥，CAS官方推荐使用JDK的命令来生成密钥库和证书，可以参考cas-配置SSL 1.1 创建密钥库 在项目目录下新建文件夹thekeystore 执行命令，特别注意后面输入的名字名称需要时自己的域名 keytool -genkey -alias cas -keyalg RSA -validity 36500 -keystore D:\workspace\ythxdny\单点登录\cas-overlay-template-5.3\thekeystore\cas.keystore genkey 生成密钥 alias 别名 keyalg 密钥算法 validity 过期时间(天) keystore 存储位置 1.2 导出证书 keytool -export -file D:\workspace\ythxdny\单点登录\cas-overlay-template-5.3\etc\cas\config\cas.crt .... 有更新！ cas基础--启用https证书 CAS
一、下载hadoop Index of /hadoop/common (apache.org) 在这个地址中下载hadoop安装包，选择一个稳定版或者自己需要的版本下载即可 我下载了稳定版的hadoop，链接如下 https://dlcdn.apache.org/hadoop/common/stable/hadoop-3.3.6.tar.gz 二、下载对应版本的jdk Hadoop Java Versions - Hadoop - Apache Software Foundation 注意里面标注了有几个版本的java8，与hadoop可能存在一些兼容问题 这是我下载的版本 https://download.oracle.com/otn/java/jdk/8u391-b13/b291ca3e0c8548b5a51d5a5f50063037/jdk-8u391-linux-x64.tar.gz?AuthParam=1697686185_1fd488f4fad7ef4e80082165a49c9f3e 三、服务器配置 配置ssh免密登录，参考SSH免密登录 - 问尤龙の时光 (wenyou.... 有更新！ 大数据基础--Hadoop环境搭建 大数据
一、简介 1.1 基本概念 1.1.1 MapReduce（MR） MapReduce基于分而治之得思想，用于大规模数据集(大于1TB)得并行计算和离线计算，具有如下特点 高度抽象的编程思想 良好的扩展性 可通过添加节点扩展集群能力 高容错性 通过计算迁移或数据迁移等策略提高集群的可用性与容错性 1.1.2 Yarn Apache Hadoop Yarn(Yet Another Resource Negotiator)是一个通用的资源管理系统，可为上层应用提供统一的资源管理和调度，提高了集群资源利用率，将资源统一管理、数据共享。 1.2 资源调度与分配 hadoopp1.0中，只有HDFS和MapReduce，资源调度通过MRv1进行，存在很多缺陷： master是单点，故障恢复依赖于周期性的checkpoint,不保证可靠性，发生故障时通知用户，由用户决定是否重新计算 没有区分作业调度与资源调度 没有处理资源隔离与安全性 Hadoop2.0引入了yarn框架，以便更好的管理集群的资源调度与分配 二、功能架构 2.1 MapReduce 2.1.1 MapReduce过程 MapRed.... 有更新！ 大数据基础--MapReduce和Yarn 大数据
问尤龙の时光