什么是搜索?
计算机根据用户输入的关键词进行匹配，从已有的数据库中摘录出相关的记录反馈给用户。
线性匹配：
新业务需求
-
1、即使在相关结果数量接近6940万时，也能快速得出结果。，可见效率之快。
2、搜索的结果不仅仅局限于完整的“吃饭睡觉写程序”这一短语，而是将此短语拆分成，“写程序”，“吃饭”，“睡觉”，“程序”等关键字。
3、对拆分后的搜索关键字进行标红显示。
4、即使只满足部分关键字也能查询出来
5、即使输错一两个字母也能查询出来，例如：搜索facebool，能查询到Facebook
问题：上述功能，使用普通的关系型数据库, 搜索能够方便实现吗？
ElasticSearch搜索引擎
- 搜索引擎（search engine）是一种信息检索系统，旨在协助搜索存储在计算机系统中的信息。
搜索引擎按照功能通常分为垂直搜索和综合搜索。
1. 垂直搜索是指专门针对某一类信息进行搜索。例如：会搜网 主要做商务搜索的，并且提供商务信息。除此之外还有爱看图标网、职友集等。
2. 综合搜索是指对众多信息进行综合性的搜索。例如：百度、谷歌、搜狗、360搜索等。
3. 站内搜索是指对网站内的信息进行的搜索。例如：京东、招聘网站等
倒排索引
搜索引擎目前主流的实现原理：倒排索引技术
-
在实际的运用中，我们可以对数据库中原始的数据结构（如：商品表），在业务空闲时，事先生成文档列表（左图）及倒排索引区域（右图）。
-
用户有查询需求时，先访问倒排索引数据区域（右图），得出文档编号后，通过文档编号即可快速，准确的通过左图找到具体的文档内容。
-
例如：用户输入“跳槽”关键字，先到右图的索引区查询，找到1,4；再根据id=1和id=4到左图找到两条记录。整个过程走的都是索引，比传统的链式匹配更加快速。
了解lucene
倒排索引技术只是底层原理，我们可以自己写代码实现。也可以使用开源组织写好的方案：lucene。
官网：http://lucene.apache.org
-
Lucene是一套用于全文检索和搜寻的开源程序库，由Apache软件基金会支持和提供
-
Lucene提供了一个简单却强大的应用程序接口（API），能够做全文索引和搜寻，在Java开发环境里Lucene是一个成熟的免费开放源代码工具
-
Lucene并不是现成的搜索引擎产品，但可以用来制作搜索引擎产品。例如：solr和elasticsearch
什么是全文检索
全文数据库是全文检索系统的主要构成部分。所谓全文数据库是将一个完整的信息源的全部内容转化为计算机可以识别、处理的信息单元而形成的数据集合。全文数据库不仅存储了信息，而且还有对全文数据进行词、字、段落等更深层次的编辑、加工的功能，而且所有全文数据库无一不是海量信息数据库。
倒排索引是全文检索技术的一种实现方式。
elasticsearch
lucene只是一个提供全文搜索功能类库的核心工具包，而真正使用它还需要一个完善的服务框架搭建起来的应用。
elasticsearch
下载
官网下载地址如下：
-
elasticsearch：https://www.elastic.co/cn/downloads/past-releases#elasticsearch
-
kibana：https://www.elastic.co/cn/downloads/past-releases#kibana
-
ik分词器：https://github.com/medcl/elasticsearch-analysis-ik/releases
可以去官网下载特定版本，建议6.8.1版本
- 百度云 : https://pan.baidu.com/s/1sOOLBXxDldXIxmX2eedT1A
提取码：2d5x
复制这段内容后打开百度网盘手机App，操作更方便哦
注意：kibana、elasticsearch和IK分词器的版本号要一致，否则可能带来兼容性问题
测试:
控制台测试 :
在Console中，执行 可以查看状态
-
右边的结果中，status 为 或者。
kibana 就相当于ElasticSearch 的客户端, 在这里面就可以发送命令, 交给 ElasticSearch 执行, 执行成功之后 ElasticSearch 就会将执行的结果返回给 kibana 在控制台显示, 并且这个工具的提示功能特别强大
IK分词器
- 下面是自带的分词器 , 处理显示的结果
对比关系：
数据结构对比
这两个对象如果放在关系型数据库保存，会被拆成2张表，但是elasticsearch是用一个json来表示一个document
所以他保存到es
要注意的是：Elasticsearch本身就是分布式的，因此即便你只有一个节点，Elasticsearch默认也会对你的数据进行分片和副本操作，当你向集群添加新数据时，数据也会在新加入的节点中进行平衡。
索引操作（indeces）
查询索引
- 查看es中有哪些索引库：
什么是映射？
只有配置清楚，Elasticsearch才会帮我们进行索引库的创建（不一定）
- 创建映射字段
类型名称：就是前面将的type的概念，类似于数据库中的不同表
字段名：类似于列名，properties下可以指定许多字段。
每个字段可以有很多属性。例如：
-
type：类型，可以是text、long、short、date、integer、object、keyword等
注意：keyword也表示文本，用来保存类似邮箱、地址、状态等，不会分词但是常用。
-
index：是否索引，默认为true
-
store：是否存储，默认为false
-
analyzer：分词器，这里使用ik分词器：或者
发起请求：
响应结果：
-
String类型，又分两种：
- text：可分词，不可参与聚合
- keyword：不可分词，数据会作为完整字段进行匹配，可以参与聚合
-
Numerical：数值类型，分两类
- 基本数据类型：long、interger、short、byte、double、float、half_float
- 浮点数的高精度类型：scaled_float
- 需要指定一个精度因子，比如10或100。elasticsearch会把真实值乘以这个因子后存储，取出时再还原。
-
Date：日期类型
elasticsearch可以对日期格式化为字符串存储，但是建议我们存储为毫秒值，存储为long，节省空间。
index
index影响字段的索引情况。
- true：字段会被索引，则可以用来进行搜索。默认值就是true
- false：字段不会被索引，不能用来搜索
index的默认值就是true，也就是说你不进行任何配置，所有字段都会被索引。
但是有些字段是我们不希望被索引的，比如商品的图片信息，就需要手动设置index为false。
store
是否将数据进行额外存储。
- Elasticsearch在创建文档索引时，会将文档中的原始数据备份，保存到一个叫做的属性中。而且我们可以通过过滤来选择哪些要显示，哪些不显示。
- 而如果设置store为true，就会在以外额外存储一份数据，多余，因此一般我们都会将store设置为false，事实上，store的默认值就是false。
新增文档（document）
- 有了索引、类型和映射，就可以对文档做增删改查操作了。
- 自动生成id
语法
示例：
- ：源文档信息，所有的数据都在里面。
- ：这条文档的唯一标示，与文档自己的id字段没有关联
自定义id
- 如果我们想要自己新增的时候指定id，可以这么做：
智能判断
事实上Elasticsearch非常智能，你不需要给索引库设置任何mapping映射，它也可以根据你输入的数据来判断类型，动态添加数据映射。
测试一下：
-
再看下索引库的映射关系:
-
stock，saleable，attr都被成功映射了。
-
如果是字符串类型的数据，会添加两种类型：text + keyword。如上例中的category 和 brand
修改数据
修改数据分为，整体覆盖和修改某一个字段。
整体覆盖
- id对应文档存在，则修改
- id对应文档不存在，则新增
比如，我们把id为2的数据进行修改：
更新字段
更新使用POST请求
语法：
删除数据
删除使用DELETe请求，同样，需要根据id进行删除：
语法
查询
查询所有：
根据id查询：
基本查询语法如下：
这里的query代表一个查询对象，里面可以有不同的查询属性
- 查询类型：
- 例如：， ， ， 等等
- 查询条件：查询条件会根据类型的不同，写法也有差异，后面详细讲解
查询结果：
- took：查询花费时间，单位是毫秒
- time_out：是否超时
- _shards：分片信息
- hits：搜索结果总览对象
- total：搜索到的总条数
- max_score：所有结果中文档得分的最高分
- hits：搜索结果的文档对象数组，每个元素是一条搜索到的文档信息
- _index：索引库
- _type：文档类型
- _id：文档id
- _score：文档得分
- _source：文档的源数据
数据准备
匹配查询（match）
匹配所有
- ：代表查询对象
- ：代表查询所有
条件匹配 模糊匹配
某些情况下，我们需要更精确查找，我们希望这个关系变成，可以这样做：
短句匹配
多字段匹配
词条查询（term）
查询被用于精确值 匹配，这些精确值可能是数字、时间、布尔或者那些未分词的字符串。
多词条查询
范围查询（range）
查询找出那些落在指定区间内的数字或者时间
模糊查询（fuzzy）
- 允许用户搜索词条与实际词条的拼写出现偏差，但是偏差的编辑距离不得超过2：
elasticsearch支持的最大编辑距离是2。
布尔组合（bool)
布尔查询又叫组合查询
把各种其它查询通过（与）、（非）、（或）的方式进行组合
过滤（filter）
所有的查询都会影响到文档的评分及排名。如果我们需要在查询结果中进行过滤，并且不希望过滤条件影响评分，那么就不要把过滤条件作为查询条件来用。而是使用方式：
排序（sort）
可以让我们按照不同的字段进行排序，并且通过指定排序的方式
分页（from/size）
from：从那一条开始
size：取多少条
高亮（highlight）
pre_tags：前置标签
post_tags：后置标签
结果过滤（_source）
默认情况下，elasticsearch在搜索的结果中，会把文档中保存在的所有字段都返回。
如果我们只想获取其中的部分字段，可以添加的过滤
聚合（aggregations）
聚合可以让我们极其方便的实现对数据的统计、分析。例如：
- 什么品牌的手机最受欢迎？
- 这些手机的平均价格、最高价格、最低价格？
- 这些手机每月的销售情况如何？
实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现实时搜索效果。
基本概念
Elasticsearch中的聚合，包含多种类型，最常用的两种，一个叫，一个叫：
桶（bucket）
桶的作用，是按照某种方式对数据进行分组，每一组数据在ES中称为一个，例如我们根据国籍对人划分，可以得到、，……或者我们按照年龄段对人进行划分：010,1020,2030,3040等。
Elasticsearch中提供的划分桶的方式有很多：
- Date Histogram Aggregation：根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组
- Histogram Aggregation：根据数值阶梯分组，与日期类似
- Terms Aggregation：根据词条内容分组，词条内容完全匹配的为一组
- Range Aggregation：数值和日期的范围分组，指定开始和结束，然后按段分组
- ……
bucket aggregations 只负责对数据进行分组，并不进行计算，因此往往bucket中往往会嵌套另一种聚合：metrics aggregations即度量
度量（metrics）
分组完成以后，我们一般会对组中的数据进行聚合运算，例如求平均值、最大、最小、求和等，这些在ES中称为
比较常用的一些度量聚合方式：
- Avg Aggregation：求平均值
- Max Aggregation：求最大值
- Min Aggregation：求最小值
- Percentiles Aggregation：求百分比
- Stats Aggregation：同时返回avg、max、min、sum、count等
- Sum Aggregation：求和
- Top hits Aggregation：求前几
- Value Count Aggregation：求总数
- ……
聚合为桶
首先，我们按照手机的品牌来划分
- size： 查询条数，这里设置为0，因为我们不关心搜索到的数据，只关心聚合结果，提高效率
- aggs：声明这是一个聚合查询，是aggregations的缩写
- brands：给这次聚合起一个名字，任意。
- terms：划分桶的方式，这里是根据词条划分
- field：划分桶的字段，从数据属性中挑选的
- terms：划分桶的方式，这里是根据词条划分
- brands：给这次聚合起一个名字，任意。
桶内度量
前面的例子告诉我们每个桶里面的文档数量，这很有用。 但通常，我们的应用需要提供更复杂的文档度量。 例如，每种品牌手机的平均价格是多少？
因此，我们需要告诉Elasticsearch，进行运算，这些信息要嵌套在内，的运算会基于内的文档进行
现在，我们为刚刚的聚合结果添加 求价格平均值的度量：
- aggs：我们在上一个aggs(brands)中添加新的aggs。可见也是一个聚合
- avg_price：聚合的名称
- avg：度量的类型，这里是求平均值
- field：度量运算的字段
桶内嵌套桶
刚刚的案例中，我们在桶内嵌套度量运算。事实上桶不仅可以嵌套运算， 还可以再嵌套其它桶。也就是说在每个分组中，再分更多组。
比如：我们想统计每个品牌都生产了那些产品，按照字段再进行分桶
- 我们可以看到，新的聚合被嵌套在原来每一个的桶中。
- 每个品牌下面都根据 字段进行了分组
- 我们能读取到的信息：
- 华为有4中产品
- 华为产品的平均售价是 3999.0美元。
- 其中3种手机产品，1种笔记本产品
Java客户端（jest）
目前市面上有两类客户端
-
一类是TransportClient 为代表的ES原生客户端，不能执行原生dsl语句必须使用它的Java api方法。
-
另外一种是以Rest Api为主的missing client，最典型的就是jest。 这种客户端可以直接使用dsl语句拼成的字符串，直接传给服务端，然后返回json字符串再解析。
-
两种方式各有优劣，但是最近elasticsearch官网，宣布计划在7.0以后的版本中废除TransportClient。以RestClient为主。
-
所以在官方的RestClient 基础上，进行了简单包装的Jest客户端，就成了首选，而且该客户端也与springboot完美集成。
- 创建springboot 的 module
- 引入依赖：
查询
查询一个：结果