1. 多线程程序插入,可以根据服务器情况开启多个线程index
速度可以提高n倍, n>=2
2. 如果有多台机器,可以以每台设置n个shards的方式,根据业务情况,可以考虑取消replias
curl -XPUT 'http://10.1.*.*:9200/dw-search/' -d '{
"settings" : {
"number_of_shards" : 20,
"number_of_replicas" : 0
}
}'
这里设置20个shards, 复制为0,如果需要replicas,可以完成index后再修改为replicas>=1
原文:http://www.elasticsearch.org/guide/reference/api/admin-indices-create-index.html
3. 提高ES占用内存
内存适当调大,初始是256M, 最大1G,
调大后,最小和最大一样,避免GC, 并根据机器情况,设置内存大小,
$ bin/elasticsearch -f -Xmx4g -Xms4g -Des.index.storage.type=memory
原文:http://www.elasticsearch.org/guide/reference/setup/installation.html
4. 减少shard刷新间隔
curl -XPUT 'http://10.1.*.*:9200/dw-search/_settings' -d '{
"index" : {
"refresh_interval" : "-1"
}
}'
完成bulk插入后再修改为初始值
curl -XPUT 'http://10.1.*.*:9200/dw-search/_settings' -d '{
"index" : {
"refresh_interval" : "1s"
}
}'
5. 设置一个shard的段segment最大数
可以减少段文件数,提高查询速度
curl -XPOST 'http://10.1.*.*:9200/dw-search/_optimize?max_num_segments=5'
注意:有时候可能需要多次执行
原文:http://www.elasticsearch.org/guide/reference/api/admin-indices-update-settings.html
原文:http://www.elasticsearch.org/guide/reference/index-modules/merge.html
6. 去掉mapping中_all域
Index中默认会有_all的域,这个会给查询带来方便,但是会增加索引时间和索引尺寸
"_all" : {"enabled" : false}
原文:http://www.elasticsearch.org/guide/reference/mapping/all-field.html
curl -XPOST 'http://10.1.*.*:9200/dw-search/pt_normal/_mapping' --data-binary @pt_normal_properties.mapping
7. 设置source为压缩模式或者disable
compress=true这个能大大减少index的尺寸
disable将直接没有_source域
8. 增加merge.policy.merge_factor数
设置merge.policy.merge_factor到30,初始是10
增加这个数需要更多的内存,bulk index可以调大这个值.
如果是即时索引,应该调小这个值
原文:http://www.elasticsearch.org/guide/reference/index-modules/merge.html
9. 修改Client获得方式为
Node node = nodeBuilder().client(true).node();
Client client = node.client()
相比transport client更快
测试效果,速度提高不明朗,且报错。去除
分享到:
相关推荐
Elasticsearch优化及升级Elasticsearch优化内存优化(系统内存的50%,最大32G)-Xmx8g -Xms8g禁止交换区和最大映射文件数
对于集群的监控和优化是很重要的一部分,如果想持久维护集群,单单靠增加物理内存,cpu,硬盘是不够的,必须通过一些方法来进行优化。本文档包含: 1、集群结点角色分配; 2、集群得机器内存设置; 3、ES集群的heap...
百度Elasticsearch实践及优化-高攀,看百度如何玩转elasticsearch,百度针对elasticsearch进行优化及开源
Elasticsearch优化1
ElasticSearch性能优化策略
本人在实际的工作中,负责ES平台的搭建以及维护,在实际中总结的集群优化准则,所有集群通用,性能提升有3-5倍
本人在工作期间主要负责公司的集群维护与ES的分布式平台搭建,在这期间总结了自己的一套关于ES集群的优化配置的准则,性能提升有3-5倍,希望可以帮到你
Elasticsearch技术解析与实战+Elasticsearch权威指南两本电子书,合集共享,让你早日学习了解Elasticsearch
关于ElasticSearch5.x从不同方面部署优化细节和建议。
Elasticsearch在vivo互联网的最佳实践 较早的一些优化指南,文中提到未完成部分我现在实现Sliced+Scroll并行查询 https://blog.csdn.net/DPnice/article/details/79793051
1_elasticsearch技术解析与实战1_elasticsearch技术解析与实战1_elasticsearch技术解析与实战
1、Elasticsearch 使用建议:介绍在使用 Elasticsearch 进行数据搜索和分析时,应该遵循的一些规范和建议,包括 ES 架构的选择、索引结构的设计、查询语句的优化、写入优化等等,以提高 Elasticsearch 的性能、可靠...
Elasticsearch技术解析与实战 ,朱林(完整板)Elasticsearch技术解析与实战 ,朱林(完整板)Elasticsearch技术解析与实战 ,朱林(完整板)
1.节点下线 2.迁移分 3.冷热数据的读写分离 4. 检测参数优化 5.磁盘限额: 6.在线缩容 7.过滤器 8.通过监控任务,check集群健康 9.持ch
elasticsearch技术解析与实战,压缩包第二部分。
ElasticSearch技术文档、ElasticSearch优化方案及ElasticSearch运营手册
├─elasticsearch-7.8.0-linux-x86_64.tar.gz ├─elasticsearch-7.8.0-windows-x86_64.zip ├─elasticsearch-analysis-ik-7.8.0.zip ├─elasticsearch-head-chrome-plugin.rar ├─kibana-7.8.0-windows-x86_64....
Elasticsearch技术解析与实战,书藉高清,带索引书签目录,非常方便阅读。
Elasticsearch(ES)多条件过滤实现案例(6.3版本), 搜索过滤,对日期进行时分秒区间判断,多条件整合优化