Systemprotokolle mit Fluent Bit an OpenSearch weiterleiten

Die Verwaltung von Systemprotokollen ist entscheidend für die Aufrechterhaltung der Leistung, die Fehlerbehebung und das Verständnis des Systemverhaltens. Systemprotokolle, die typischerweise in /var/log gespeichert sind, liefern wertvolle Einblicke in den Betrieb Ihres Servers. Dieses Tutorial führt Sie durch die Installation von Fluent Bit auf einer ccloud³ VM, die Konfiguration zur Erfassung von Systemprotokollen aus /var/log und das Senden dieser Protokolle an OpenSearch für eine umfassende Analyse.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie Folgendes haben:

• Eine ccloud³ VM.
• Einen OpenSearch-Cluster.

Schritt 1 - Installation von Fluent Bit

Fluent Bit ist ein Open-Source- und leichtgewichtiger Log-Prozessor und Forwarder. Es wurde entwickelt, um Daten und Protokolle aus verschiedenen Quellen zu erfassen, zu verarbeiten oder zu transformieren und dann an verschiedene Ziele weiterzuleiten.

Fluent Bit kann auf mehreren Plattformen installiert werden. Um es auf Ubuntu/Debian/RedHat/CentOS zu installieren, führen Sie den folgenden Befehl in Ihrem ccloud³-Terminal aus:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Weitere Informationen zur Installation von Fluent Bit finden Sie in der Fluent Bit Dokumentation.

Schritt 2 - Konfiguration von Fluent Bit zur Weiterleitung von Protokollen an OpenSearch

Standardmäßig befinden sich die Konfigurationsdateien von Fluent Bit im Verzeichnis /etc/fluent-bit/. Um Protokolle an OpenSearch weiterzuleiten, müssen Sie die Datei fluent-bit.conf bearbeiten.

Fluent Bit Eingaben

Fluent Bit bietet eine Vielzahl von Eingabe-Plugins, die es ermöglichen, Protokoll- und Ereignisdaten aus verschiedenen Quellen zu erfassen. Da wir Protokolle aus Log-Dateien senden, werden wir das Tail-Input-Plugin verwenden.

Aktualisieren Sie die Datei fluent-bit.conf wie folgt:

[INPUT]
    name tail
    Path /var/log/auth.log,/var/log/syslog,/var/log/journal/*.log

Passen Sie den Path entsprechend dem gewünschten Protokollpfad an. Weitere Informationen zu Eingabe-Plugins finden Sie in der Fluent Bit Input Plugins Dokumentation.

Fluent Bit Ausgaben

Ähnlich wie Eingabe-Plugins bietet Fluent Bit auch ein Ausgabe-Plugin, das gesammelte und verarbeitete Protokolle an verschiedene Ziele sendet. Da wir Protokolle an OpenSearch senden, verwenden wir das OpenSearch Output Plugin.

[OUTPUT]
    Name  opensearch
    Match *
    Host 
    Port 25060
    HTTP_User doadmin 
    HTTP_Passwd  
    Index ubuntu
    tls On
    Suppress_Type_Name On  

Ersetzen Sie <OpenSearch_Host> mit dem Hostnamen Ihres OpenSearch-Servers und <OpenSearch_Password> mit Ihrem OpenSearch-Passwort.

Starten des Fluent Bit Dienstes

Sobald die Konfigurationen festgelegt sind, starten Sie den Fluent Bit Dienst, indem Sie die folgenden Befehle ausführen:

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Fehlersuche

Überprüfung der Konnektivität

Sie können überprüfen, ob Logstash eine Verbindung zu OpenSearch herstellen kann, indem Sie die Konnektivität testen:

curl -u your_username:your_password -X GET "https://your-opensearch-server:25060/_cat/indices?v"

Ersetzen Sie in diesem Befehl your-OpenSearch-server mit dem Hostnamen Ihres OpenSearch-Servers, your_username und your_password mit Ihren OpenSearch-Anmeldeinformationen.

Datenaufnahme

Stellen Sie sicher, dass die Daten in OpenSearch korrekt indexiert werden:

curl -u your_username:your_password -X GET "http://your-opensearch-server:25060/<your-index-name>/_search?pretty"

Ersetzen Sie your-OpenSearch-server mit dem Hostnamen Ihres OpenSearch-Servers, your_username und your_password mit Ihren OpenSearch-Anmeldeinformationen sowie your-index-name mit dem Namen des Index.

Firewall- und Netzwerkkonfiguration

Stellen Sie sicher, dass die Firewall-Regeln und Netzwerkeinstellungen den Datenverkehr zwischen Logstash und OpenSearch auf dem entsprechenden Port zulassen.

Überprüfung der Fluent Bit Protokolle

Standardmäßig werden Protokolle im Systemprotokoll gespeichert.

sudo journalctl -u fluent-bit

Konfiguration validieren

Stellen Sie sicher, dass die Konfigurationsdateien syntaktisch korrekt sind.

/opt/fluent-bit/bin/fluent-bit -c /etc/fluent-bit/fluent-bit.conf --dry-run

Fazit

In diesem Tutorial haben wir die wesentlichen Schritte zur Einrichtung von Fluent Bit für die Verwaltung von Systemprotokollen behandelt, einschließlich Installation, Konfiguration und Weiterleitung von Protokollen an Managed OpenSearch.

Zusammenfassung der durchgeführten Schritte:

• Installation: Wir haben Fluent Bit auf einer ccloud³ VM mithilfe eines einfachen Curl-Befehls installiert.
• Konfiguration: Wir haben Fluent Bit so konfiguriert, dass es Systemprotokolle aus /var/log mit dem Tail-Input-Plugin erfasst und diese mit dem OpenSearch-Output-Plugin an OpenSearch sendet.
• Dienstverwaltung: Wir haben den Fluent Bit Dienst aktiviert und gestartet, um eine kontinuierliche Protokollerfassung und -weiterleitung sicherzustellen.
• Fehlersuche: Wir haben häufige Fehlerbehebungsmethoden behandelt, einschließlich der Überprüfung der Konnektivität, der Kontrolle der Datenaufnahme und der Analyse der Fluent Bit Protokolle.

Nach Abschluss dieser Schritte wird Fluent Bit Ihre Systemprotokolle effizient erfassen und an OpenSearch weiterleiten, sodass Sie leistungsstarke Such- und Analysetools nutzen können, um Einblicke in die Leistung und das Verhalten Ihres Servers zu gewinnen.