一文入门.NET Core操作ElasticSearch 7.x

原创 青城 青城同学 1周前在互联网上，随处可见的搜索框。背后所用的技术大多数就是全文检索。在全文检索领域，常见的库/组件有：Lucene、Solr、Sphinx、ElasticSearch等。简单对比几种全文引擎的区别Lucene是一个基于Java开发的全文检索基础包，使用起来繁杂，且默认不支持分布式检索Solr是基于Lucene开发的一个搜索工具。抽象度更高，使用更简单，且提供一个控制面板。ElasticSearch也是基于Lucene开发的。同样是高度抽象，并提供了一个非常强大的DSL检索功能，可以很方便的检索出数据。Solr和ES的区别主要在于：ES有强大的实时检索能力而不怎么掉速，Solr创建索引的同时，检索速度会下降。如果不考虑实时检索，Solr的速度更快。Solr社区更成熟。ES使用更方便更现代化。Sphinx是俄罗斯人开发的一个全文检索引擎，使用C++开发。性能比Java开发的es和solr高，但是在社区繁荣度上，比ES和solr差很多。比如中文分词器，sphinx的coreseek插件已经停更了。sphinx有个非常好的地方就是可以作为MySQL插件使用。环境搭建随着容器化的发展，我们大部分环境都切换到Docker上了。本篇博文的环境通过Docker搭建。ES在Docker中搭建我使用的是ES7.4.2docker run --name es -d  -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e"ES_JAVA_OPTS=-Xms128m -Xmx128m" -vd:/elasticsearch/es7.4.2/data:/usr/share/elasticsearch/data -vd:/elasticsearch/es7.4.2/plugins:/usr/share/elasticsearch/plugins elasticsearch:7.4.2我这里把Docker中的es数据目录和插件目录映射到本机，方便操作。实际线上部署也应该映射数据目录到宿主机，防止数据丢失。搭建Kibana可视化环境。docker run --name kibana -e ELASTICSEARCH_HOSTS=http://192.168.31.115:9200 -p 5601:5601 -e"I18N_LOCALE=zh-CN" -d kibana:7.4.2运行成功后，在Docker控制面板上，就可以看到两个正在运行的容器了。

在本机浏览器访问 http://localhost:5601/ 即可打开Kibana仪表盘。

ElasticSearch基本概念用数据库的概念来对比ES的概念数据库ElasticSearchdatabase 库index 索引table 表type 类型 7.x已经废除row 行document 文档column 列field 字段chema 表结构mapping 映射SQLDSLselectGETupdatePUTdeletedelete上手ElasticSearch的DSLES有两种方式操作：1.url方式，2.http请求中的body提交json dsl创建一个索引PUT /qingcheng删除一个索引DELETE /qingcheng创建mappingPUT /qingcheng{"mappings": {"properties": {"name": {"type": "text"},"age": {"type": "integer"},"createtime": {"type": "date"}}}}响应{"acknowledged" : true,"shards_acknowledged" : true,"index" : "qingcheng"}在ES7中已经不支持映射mapping的时候，指定doc名称了。ES会给一个默认的doc名称新增字段PUT /qingcheng/_mapping{"properties":{"sex":{"type":"integer"}}}在ES中只能新增字段，无法修改已有字段。如果需要修改已有字段，只能重新创建索引，然后使用reindex迁移数据到新的索引。查看索引GET /qingcheng/_mapping结果{"qingcheng" : {"mappings" : {"properties" : {"age" : {"type" : "integer"},"createtime" : {"type" : "date"},"name" : {"type" : "text"},"sex" : {"type" : "integer"}}}}}插入以及数据多次put同一个id到es，那就是更新了POST /qingcheng/_doc/1{"name":"青城","age":30,"createtime":"2021-03-21","sex":1}使用Post请求，在_doc的type中插入id为1的一条数据。id可以自定义格式，可以为数字以及自定义字符串查看数据GET /qingcheng/_doc/1检索数据数据检索的格式为 GET /索引名称/_search + json格式的body基本搜索GET /qingcheng/_search{"query": {"query_string": {"default_field": "name","query": "青城"}}}范围搜索GET /qingcheng/_search{"query": {"range": {"age": {"gte": 10,"lte": 50}}}}分页搜索GET /qingcheng/_search{"query": {"match": {"name": "青"}},"from": 0, //从多少条开始"size": 20 //取多少条}排序GET /qingcheng/_search{"sort": [{"age": {"order": "desc"}}]}复杂搜索在ES搜索中，一般会存在多个条件，类似于sql的and or等操作。在ES中使用bool操作来连接多个条件，must 必须满足，should：满足最好，不满足也没关系（如果满足，es的搜索评分会更高，结果更靠前）GET /qingcheng/_search{"query": {"bool": {"must": [{"match": {"name": "青"}},{"range": {"age": {"gte": 10,"lte": 50}}}],"should": [{"range": {"age": {"gte": 10,"lte": 50}}}]}}}聚合在ES中，聚合使用eggs来操作。可快速求出最大、平均、等值。GET /qingcheng/_search{"aggs": {"平均值": {"avg": {"field": "age"}}}}配置中文分词器ES默认的分词器是中文分词是按单个汉字分割。所以使用起来搜索结果不太准确。在ES的分词插件中，中文分词用的比较多的是IK分词器github地址:https://github.com/medcl/elasticsearch-analysis-ik下载好ES对应版本的插件，解压出来，放到ES的插件目录。重启ES，即可启用插件。

我们对比一下使用ES默认分词器和IK分词器的结果默认分词器使用IK分词器IK分词器支持两种分词模式 1. ik_smart 2.ik_max_wordik_smart模式

ik_max_word

两种分词模式的区别在于分词粒度的粗细问题。而standard分词直接按单个字符分割。使用.NET Core的NEST客户端ES的.NET客户端分为两个，一个是ElasticSearch.NET一个是NEST，NEST是高级的客户端库，提供更符合.NET程序员的操作api。ElasticSearch.NET更适合喜欢写DSL的程序员。一般我们都使用NEST。创建索引[ElasticsearchType(RelationName = "estest")]class ESTest{[Number(NumberType.Integer, Name = "id")]public int Id { get; set; }[Text(Name = "name")]public string Name { get; set; }[Number(NumberType.Integer, Name = "age")]public int Age { get; set; }[Text(Name = "info", Analyzer = "ik_smart")]public string Info { get; set; }[Date(Name = "createtime", Format = "yyyy-MM-dd||yyyy-MM-dd HH:mm:ss")]public DateTime CreateTime { get; set; }}var node = new Uri("http://localhost:9200");var settings = new ConnectionSettings(node);var client = new ElasticClient(settings);//创建索引var resp = client.Indices.Create("test", opt =>{return opt.Map<ESTest>(m => m.AutoMap());});Console.WriteLine("创建索引结果:" + resp.Acknowledged);Console.WriteLine(resp.DebugInformation);插入数据var model = new ESTest(){Name = "青城1",Age = 20,Info = "顺其自然，不代表我们可以不努力，而是努力之后有勇气接受成败。",Id = 2,CreateTime = DateTime.Now};var indexResp = client.Index(model, i => i.Index("test"));if (indexResp.IsValid){}检索数据var res = client.Search<ESTest>(a => a.Index("test").Query(a =>a.Match(m =>m.Field(f => f.Info).Query("顺其自然"))));foreach (var item in res.Documents){Console.WriteLine(item.Name + " " + item.Info);}检索数据的写法基本上和DSL语法结构一致。学会DSL，用C#也可以写出正确的查询语句。学会以上的基本操作，就可以算是对ES有一个基本的了解了。更多深入的知识点可以去ES官方文档学习。NEST库地址:https://github.com/elastic/elasticsearch-net官方文档:https://www.elastic.co/guide/en/elasticsearch/client/net-api/current/introduction.html欢迎关注我的微信搜索公众号 【青城同学】 ,当然也可以扫描下方的二维码关注我喜欢此内容的人还喜欢抽一根烟的时间学会.NET Core 操作RabbitMQ抽一根烟的时间学会.NET Core 操作RabbitMQ...青城同学不喜欢不看的原因确定内容质量低不看此公众号Redis 核心篇：唯快不破的秘密Redis 核心篇：唯快不破的秘密...悟空聊架构不喜欢不看的原因确定内容质量低不看此公众号Redis 6.X Sentinel 哨兵集群搭建Redis 6.X Sentinel 哨兵集群搭建...码哥字节不喜欢不看的原因确定内容质量低不看此公众号