2022-05-08
不同行業如何管理日誌？ELK是什麼？
IDC（國際數據資訊有限公司）是全球著名的資訊科技、電信行業和消費科技諮詢、顧問和活動服務專業提供商，該公司發布的全球資料趨勢白皮書《Data Age 2025》內容提道：「2025年時，亞太區所產生的新資料量將會是33.8ZB甚至以上，將排名全球第三。」亞太區除了中國外，包括新加坡、印度、韓國、日本、臺灣、澳洲等地區的新資料產生量，將僅次於中國和EMEA區（歐洲、中東和非洲），此外，亞太區還會是全球新資料量成長最快的區域之一。
而且在現今的資訊科技環境中，安全漏洞等問題的發生只是時間問題，各個組織需要的是能快速針對內外部威脅做出反應。不論是DDoS攻擊、受到釣魚詐騙、敏感資料遭竊取等不同程度的狀況，日誌的資訊判讀對於事件發生的原因都具有一定的關鍵性，所以在尚未遭受攻擊時，我們就需要養成收集日誌資訊的習慣。
各行各業在日誌管理上有什麼重點?
隨著法規和行業標準逐漸提高安全意識來保護敏感資料，資訊科技人員也必須耗費比以前更多的時間及資源來確保公司政策的合法性，但根據企業類型和地點，其適用的法規也不盡相同，也進而影響日誌管理上的不同需求，但IT人員面臨的挑戰越來越明確 – 如何以更有效率的方式來滿足眾多法規要求。
在不同產業中，無論是想增強安全性、或是改善營運狀況，日誌資訊都包含極有價值的內容。有效率的日誌管理是需要能集中、安全、可擴展的，集中化管理能避免資訊不對稱；限制日誌的存取權限可以保護敏感資訊不外流；擴展性則可以增加日誌源或資料流量。
上一篇文章我們介紹了網路管理員的工作，以及在網管工作中非常重要的「日誌管理」，在這個大數據時代，我們不能僅止於搜集資料，更重要的是蒐集到資料後，分析以及加以應用的能力，所以接下來就跟大家介紹一款免費、強大的日誌管理工具：ELK
ELK是什麼？
大家通常將Elastic Stack簡稱為ELK Stack，目前Elastic Stack包含了一系列豐富的輕量型數據採集代理服務，「E L K」分別是指ElasticSearch、Logstash和Kibana這三個開源軟體的集合套件，透過這三個軟體來組成一套日誌分析和監控的架構，此架構也可以隨著使用者需求、環境等因素而增加或減少其他套件。
簡單來說，整個流程如下：.png)
透過簡單的三個步驟，我們就可以一口氣處理非常大量、非系統性的數據，同時進行蒐集、處理、儲存以及最後的應用，而且elasticsearch的搜尋速度與一般的關連式資料庫比起來快非常多，當我們有明確的需求時，elasticsearch就會是一個非常好的選擇。
日誌管理是一項必須不斷調整的工作，有好的工具固然可以提升我們的工作效率，但我們仍需要隨時檢視並修正我們的資訊政策，才有辦法面對不斷變化的資訊科技環境和威脅。
而且在現今的資訊科技環境中，安全漏洞等問題的發生只是時間問題，各個組織需要的是能快速針對內外部威脅做出反應。不論是DDoS攻擊、受到釣魚詐騙、敏感資料遭竊取等不同程度的狀況，日誌的資訊判讀對於事件發生的原因都具有一定的關鍵性，所以在尚未遭受攻擊時，我們就需要養成收集日誌資訊的習慣。
各行各業在日誌管理上有什麼重點?
隨著法規和行業標準逐漸提高安全意識來保護敏感資料，資訊科技人員也必須耗費比以前更多的時間及資源來確保公司政策的合法性，但根據企業類型和地點，其適用的法規也不盡相同，也進而影響日誌管理上的不同需求，但IT人員面臨的挑戰越來越明確 – 如何以更有效率的方式來滿足眾多法規要求。
- 電信業
- 醫療產業
- 金融業
在不同產業中，無論是想增強安全性、或是改善營運狀況，日誌資訊都包含極有價值的內容。有效率的日誌管理是需要能集中、安全、可擴展的，集中化管理能避免資訊不對稱；限制日誌的存取權限可以保護敏感資訊不外流；擴展性則可以增加日誌源或資料流量。
上一篇文章我們介紹了網路管理員的工作，以及在網管工作中非常重要的「日誌管理」，在這個大數據時代，我們不能僅止於搜集資料，更重要的是蒐集到資料後，分析以及加以應用的能力，所以接下來就跟大家介紹一款免費、強大的日誌管理工具：ELK
ELK是什麼？
大家通常將Elastic Stack簡稱為ELK Stack，目前Elastic Stack包含了一系列豐富的輕量型數據採集代理服務，「E L K」分別是指ElasticSearch、Logstash和Kibana這三個開源軟體的集合套件，透過這三個軟體來組成一套日誌分析和監控的架構，此架構也可以隨著使用者需求、環境等因素而增加或減少其他套件。
- Elasticsearch是一個即時性的分佈式搜索分析引擎，支援各種語言，甚至適用於文本、数字、地理空間、结構化和非结購化數據等在内的所有類型的数據，它能做到全文檢索、結構化搜索、分析以及這三個功能的組合。雖然Elasticsearch看起來非常強大，但事實上在其架構中沒有任何一個單獨的組件是全新的或者是革命性的技術，全文搜索在很久之前就已經被開發出來了，分析系統和分佈式數據庫也是一樣，其革命性的成果展現於將這些獨立的組件重新整合到單一的、一致的、實時性的應用程式中。這使得它對於初學者有較友善的低門檻，而當我們的能力提升或是需求增加時，它也能回應我們的需求去擴充其他的功能。
- Logstash是一種開放原始碼資料擷取的工具，可以從各種來源收集資料、轉換資料並將資料傳送到所需目的地，也是一款輕量級的日誌搜集處理框架，它可以將分散資料來源（如系統日誌、網站日誌和應用程式伺服器日誌等）擷取，並搜集這些非結構化的資料，還可以自行設定預先建置篩選條件；蒐集完資料後還可以透過靈活的外掛程式架構對資料進行處理，目前在Github有200個以上的外掛程式可使用，若沒有符合自身需求的外掛，也可以自行建置資料管道所需的外掛程式；最後logstash還可以協助傳輸資料到指定的位置，比如某個伺服器或者文件夾。
- Kibana 是一款開源的數據分析與數據視覺化工具，我們可用它來進行日誌和時間序列分析、應用於程式監控和操作智慧使用案例，其中包含各種長條圖、折線圖、圓餅圖、熱度圖及內建地理空間支援等易於使用的互動式圖表，讓我們可以對數據進行多樣化的呈現和與分析，還可以使用動態拖動的方式操作時間視窗，設定放大和縮小特定的資料子集，可向下切入報告從資料中擷取可行的洞察，ELK架構下，我們僅透過一個瀏覽器就能快速創建和分享動態數據儀表板，即時追踪Elasticsearch的實際數據變化。
簡單來說，整個流程如下：
- Logstash 負責分析/解析資料
- Elasticsearch 進行儲存/蒐尋資料
- Kibana 將資料進行可視化，供使用者檢視與判讀
透過簡單的三個步驟，我們就可以一口氣處理非常大量、非系統性的數據，同時進行蒐集、處理、儲存以及最後的應用，而且elasticsearch的搜尋速度與一般的關連式資料庫比起來快非常多，當我們有明確的需求時，elasticsearch就會是一個非常好的選擇。
日誌管理是一項必須不斷調整的工作，有好的工具固然可以提升我們的工作效率，但我們仍需要隨時檢視並修正我們的資訊政策，才有辦法面對不斷變化的資訊科技環境和威脅。