使用 Elasticsearch 建立基本的日誌收集系統

很久以前 Chris 還在當 MIS 網管人員的時候，大部分都是被動的在處理事情，當有障礙或發生資安事故的時侯通常都是使用者通知我，我再登入系統查日誌(Log)，如果只有一台主機的服務發生障礙，可能登入該台主機看一下日誌(Log)很快就可以知道原因並查修完畢，但如果是使用者發生了資安事故那可就非常麻煩了，首先要先到使用者端開事件檢視器看甚麼時候帳號有異常登入、建立奇怪的帳號或提權等...有了初步的時間點後，再到 IDS/IPS、防火牆(Firewall)、防毒軟體等資安設備一一查看，另外還要確保病毒是否有橫向感染，那個 lan 底下的所有的使用者電腦也必須一一登入檢查，甚至要到下面這些設備去看看有甚麼其它的蛛絲馬跡像是：

• Windows Event Log
• Linux Event Log
• Router/Switch Log
• DNS Log
• Proxy Log
• 網頁伺服器 Web Server Log
• 郵件伺服器 Mail Server Log
• 防火牆 Firewall Log
• 集中式威脅管理 UTM Log
• 入侵偵測防禦系統 IDS/IPS Log
• 防毒軟體 Antivirus Server Log
• 網頁應用程式防火牆 WAF Log

而這些各式各樣的主機或設備，網管人員必須要了解不同的操作介面或指令，例如在 Windows 上開 Windows Event Viewer 查看事件檢視器，在 Linux 日誌(Log)檔案中 grep 或 awk 等...，其實非常的耗時耗力對於網管人員是一項非常沉重的負擔，所謂工欲善其事必先利其器，想從日誌中挖出有用有價值的資料，沒有ㄧ個好工具很難進行，最好的解決方法就是建立集中式日誌收集系統(Log Management)，只需將環境中所有主機及設備的日誌(Log)丟到日誌收集系統，網管人員之後不需要在東奔西跑、不需要熟悉各項設備的操作介面或指令，只要在一個平台上即可做到管理與查詢所有設備的日誌了。

一個完整的集中式日誌收集系統(Log Management)，需要包含以下幾個主要特點：

• 收集－能夠採集多種來源的日誌資料
• 傳輸－能夠穩定的把日誌資料傳輸到中央系統
• 儲存－如何儲存日誌資料
• 分析－可以支援 UI分析

在前幾篇的文章中 Chris 也有教大家怎麼建立 Elasticsearch，只要按照下面步驟就可以在自己的環境中建置基本的日誌收集系統(Log Management)了唷。

1. 如何在 CentOS 7 環境中安裝 Elasticsearch 教學(儲存)
2. 如何在 CentOS 7 環境中安裝 Logstash 教學(收集、傳輸)
3. 如何在 CentOS 7 環境中安裝 Kibana 教學(分析)

在下圖中可以明顯的看到，在一個平台上可以同時看到多個不同設備的 Log，大大加速了網管人員在查測問題上的時間與效率。