Linux下如何安装Logstash

一、首先对logstash做个简介。

Logstash 是 Elastic Stack（即 ELK Stack）的核心组件之一，是一款开源的服务器端数据处理管道工具。它能够从多个来源同时采集数据，进行转换，然后将其发送到指定的“存储库”中。

🧩 核心功能与工作流程

Logstash 的核心是一个 “输入 → 过滤器 → 输出”的三阶段处理管道：

输入 (Inputs)：负责从各种数据源采集数据。它支持非常多的输入插件，可以连接：

日志文件：如 file。

消息队列：如 Kafka、Redis。

数据库：如 JDBC。

云服务：如 S3。

应用指标：如通过 HTTP 接收数据。

过滤器 (Filters)：这是 Logstash 最强大的部分，负责在数据传输的中间环节对数据进行解析和转换。常见的操作包括：

解析：使用 grok插件将非结构化的日志解析为结构化的字段。

转换：使用 mutate插件修改、删除、重命名字段。

丰富：使用 geoip插件为 IP 地址添加地理位置信息。

条件判断：根据事件内容执行不同的处理逻辑。

输出 (Outputs)：将处理好的数据发送到指定的目标系统。最经典的输出是：

Elasticsearch：用于存储和搜索。

此外也支持标准输出（如控制台）、文件、和各种消息队列。

🎯 主要应用场景

日志集中管理：将分散在多个服务器上的不同格式的日志（如系统日志、应用日志）统一采集、解析，并发送到 Elasticsearch 进行集中存储和分析。

数据清洗与转换：作为 ETL（抽取-转换-加载）工具，对数据进行清洗、格式化和丰富，使其满足下游系统的数据格式要求。

实时监控与告警：结合 Elasticsearch 和 Kibana，可以对处理后的数据构建实时监控仪表盘和设置告警规则。

⚙️ 架构与特性

插件化架构：Logstash 的核心非常精简，大部分功能通过插件实现，这使它拥有极强的扩展性。

可靠性：提供持久化队列（Persistent Queue）功能，即使在异常重启后，也能保证数据不丢失。

性能与资源：Logstash 默认基于 JVM 运行，因此在处理大量数据时，CPU 和内存占用可能较高，这也是你之前关心的性能问题所在。

Logstash 是 Elastic 技术栈中负责数据采集、处理与传输的核心枢纽，它将上游杂乱的数据源与下游强大的 Elasticsearch 分析引擎无缝连接起来。

二、接下来我们看看如何在Linux系统上安装Logstash。

在Linux系统上安装Logstash通常涉及以下几个步骤。这里我将以基于Debian/Ubuntu的Linux发行版（例如Ubuntu 20.04）为例，说明如何安装Logstash。对于其他Linux发行版（如CentOS、Fedora等），虽然步骤类似，但可能会有一些细微差别。

1. 安装Java

Logstash是基于Java编写的，因此首先需要确保你的系统上安装了Java。你可以通过以下命令安装OpenJDK：

sudo apt update
sudo apt install openjdk-11-jre  # 安装OpenJDK 11的Java运行时环境

2. 添加Elastic APT仓库（仅限Debian/Ubuntu）

为了方便地安装Logstash，你可以添加Elastic的APT仓库。打开终端并执行以下命令：

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

注意：请根据你的需求选择合适的Elasticsearch版本号，这里使用的是7.x版本。如果你需要其他版本，请相应地修改URL中的版本号（例如，使用8.x代替7.x）。

3. 安装Logstash

更新你的包列表并安装Logstash：

sudo apt update
sudo apt install logstash

4. 验证安装

安装完成后，你可以通过运行以下命令来验证Logstash是否正确安装：

logstash -v

这应该会显示Logstash的版本信息。

5. 配置Logstash（可选）

安装完成后，你可以开始配置Logstash了。Logstash的配置文件通常位于/etc/logstash/目录下。你可以编辑这些配置文件来定义输入（input）、过滤器（filter）和输出（output）。例如，你可以创建一个简单的配置文件来从文件读取日志并输出到标准输出：

input {
 file {
   path => "/var/log/syslog"
   start_position => "beginning"
 }
}
output {
 stdout { codec => rubydebug }
}

将此配置保存为/etc/logstash/conf.d/simple-example.conf，然后你可以通过以下命令启动Logstash：

sudo systemctl start logstash

6. 设置Logstash开机自启（可选）

为了确保Logstash在系统启动时自动运行，你可以设置其开机自启：

sudo systemctl enable logstash

7. 使用和管理Logstash（可选）

一旦Logstash运行起来，你可以使用以下命令来管理它：

• 启动Logstash：sudo systemctl start logstash
• 停止Logstash：sudo systemctl stop logstash
• 重启Logstash：sudo systemctl restart logstash
• 查看Logstash状态：sudo systemctl status logstash
• 查看Logstash日志：journalctl -u logstash或查看 /var/log/logstash/logstash-plain.log文件。

通过以上步骤，就可以在Linux系统上成功安装并运行Logstash。