ELK -- 架設與管理

E.L.K(Elasticsearch、Logstash、Kibana)由三種套件組合的 log 分析工具

參考資料:
iT 邦幫忙 -- weiweiwesley 大文章
https://ithelp.ithome.com.tw/articles/10186153

John 大的文章
https://blog.johnwu.cc/article/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-centos-red-hat.html

小黑宅 大的文章
http://tangblack.blogspot.tw/2017/03/elk.html

howtoing 維運教程 -- Ubuntu ELK
https://www.howtoing.com/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-16-04

howtoing 維運教程 -- CentOS7 ELK
https://www.howtoing.com/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-centos-7/

java outofmemoryerror
http://outofmemory.cn/c/java-outOfMemoryError

https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html

Zhou大大文章 -- ELK中log資料格式錯誤造成ELK crash的修正方式
https://stephenzhou.net/2018/06/29/es-num-format-ex/

https://www.elastic.co/blog/elasticsearch-5-0-0-alpha2-released

ELK 教學
http://docs.flycloud.me/docs/ELKStack/index.html

ubuntu 安裝 java 時,加了11個套件
binutils gsfonts gsfonts-x11 java-common libfontenc1 libxfont1
oracle-java8-installer oracle-java8-set-default x11-common xfonts-encodings
xfonts-utils 

小信猪的原始部落格 -- [Elasticsearch] 基本概念 & 搜尋入門
https://godleon.github.io/blog/Elasticsearch/Elasticsearch-getting-started/


帳號建立

不同版本的 ELK 會因為建置者不同而不同 = =

7.17.1
Managerment => Stack Managerment => Security => User


錯誤處理

 

參考資料:
Mr.Zhou -- 修復資料格式衝突導致ES索引失敗的問題
https://stephenzhou.net/2018/06/29/es-num-format-ex/

JSON -- Elasticsearch 添加失敗 MapperParsingException[object mapping for [] tried to parse field [null] as object, but found a concrete value
https://www.sojson.com/blog/128.html

阿轉大的文章 -- kibana發生Courier Fetch: n of m shards failed警告 -- 刪除錯誤的 index
https://shimeche.github.io/2019/06/19/kibana%E7%B8%BD%E6%9C%83%E7%99%BC%E7%94%9FCourier-Fetch-shards-failed%E9%8C%AF%E8%AA%A4/

官方文件 -- 重建索引
https://www.elastic.co/guide/cn/elasticsearch/guide/current/reindex.html 


無法關閉 index 問題
錯誤訊息
[cluster_block_exception] blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];
可能問題
This happens when Elasticsearch thinks the disk is running low on space so it puts itself into read-only mode.
處理方式
刪除舊index,釋出磁碟空間
下指令解鎖
curl -XPUT -H "Content-Type: application/json" https://[YOUR_ELASTICSEARCH_ENDPOINT]:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

參考資料:
Sean Hammond 大回應
https://stackoverflow.com/questions/50609417/elasticsearch-error-cluster-block-exception-forbidden-12-index-read-only-all

官方說明
https://www.elastic.co/guide/en/elasticsearch/reference/6.2/disk-allocator.html


kibana 短網址功能

kibana 的網址太長了,所以有提供一個短網址功能

上面 share > Permalinks > Short URL,On > Copy URL

參考資料:CQ 口述 


重建索引

 

官方說明
https://www.elastic.co/guide/cn/elasticsearch/guide/current/reindex.html

TeambitionNG 大大說明
https://juejin.cn/post/6844903605967781902

留言

這個網誌中的熱門文章

zimbra 安裝、管理、設定

Fortigate 100D -- 管理、設定

IT 隨手記6