GPO Deploy Configed Splunk UF

本文方法源自 https://blog.edie.io/2020/03/28/deploying-splunk-universal-forwarders-via-gpo/

一开始是自己在想如何实现这个需求，没想到找到了一个英文版本的经验分享，尝试后发现真的可用，翻译为中文版本分享给大家：

在非小规模部署Splunk UF的情况下，要infra admin一部机一部机地去安装Splunk UF并进行人手配置是不现实的，一般情况下如果是window环境，会使用SCCM或者用自动化部署的方案进行部署。
这次准备跟大家分享一个用GPO进行部署的方式，以及分享一下自己碰到的坑。

以下是简要部署步骤：
1. 下载Splunk UF 的msi安装档
2. 下载Orca软件
3. 制作MST配置文件
4. 部署GPO

首先在windows10环境中下载Orca， 要下载Orca需要先下载安装Microsoft Windows Software Development Kit (SDK) （https://developer.microsoft.com/zh-tw/windows/downloads/windows-10-sdk/）
modify这个软件，勾选MSI tools，然后安装下面这个软件
C:\Program Files (x86)\Windows Kits\10\bin\x86\Orca-x86_en-us.msi

orca安装完成后，打开软件， 打开splunk uf msi文件，选择Transform > New Transform， 选择Property，将AGREETOLICENSE的值改为Yes.
然后右键add row， 添加下列key-value field：
SPLUNKUSERNAME=splunk_admin
SPLUNKPASSWORD=stRongPassword
DEPLOYMENT_SERVER=Splunk_deployment_server_IP:8089

!!这里的value一定要注意符合软件要求的复杂度，如果用简单的1234作为密码，在后期不会报错，但是安装会不成功。

然后选择Transform > Generate Transform保存文件为mst文件.

把splunk uf msi安装文件跟这个mst文件一起放在一个网络共享文件夹中，确认可以被目标计算机或者用户读取。

然后配置GPO，在选择安装文件之外需要在software installation里选择advance deployment method, modification, 选择网络共享文件夹中的mst文件.

最后在domain的机子上进行gpupdate /force就可以了

Splunk indexer cluster setup

今天准备跟大家分享一下splunk indexer clustering 的信息

Indexer Cluster

Splunk indexer clustering 需要注意的几个点

  1. 系统方面

    1. 一个splunk instance 可以同时扮演一个或者几个role
    2. 推荐所有splunk instance运行在不同虚拟机且相同的OS上方便运维
    3. 所有splunk instance之间网络可达
    4. 各个splunk instance尽量用同一个version， SH 跟 indexer masterk可以用same or later version, peer用一样的version

  2. 授权方面

    1. 只有进入splunk平台被index的日志才会计算授权，peer之间复制日志不计算授权
    2. 推荐所有splunk instance用master slave的形式用统一授权
    3. 测试环境用可以直接用试用授权搭建indexer cluster， 用Splunk Dev License不能搭建indexer cluster平台

  3. Search Factor , Replication Factor

    1. Replication Factor(RF)就是这个cluster存下来的日志副本的数量，设置RF的时候要注意RF数不大于Peer数量，且官方不推荐配置完后后期进行修改
    2. Search Factor (SF) 用来设置可以用于搜索的日志副本数量，例如如果你的SF是1，某个peer down了，刚好可以用于搜索的日志在那个peer上，即使在别的peer上有需要被搜索的日志副本，也要等rebuid一个可搜索的日志副本，然后SH才可以搜索到目标日志

安装步骤

  1. 准备三台相同版本的linux服务器，分别命名为indexer master, indexer1 和 indexer2，设置静态IP，sync时区

  2. 创建新用户splunk，授权新用户/opt管理员权限，加入sudo组
    Useradd splunk
    Passwd splunk
    [enter password]
    Chown root:splunk /opt
    Chmod 570 /opt
    Usermod -aG wheel splunk
    Su – splunk

  1. 放防火墙端口（for大部分splunk需要使用的端口，具体端口用于什么服务参照splunk常用端口图示）
    sudo firewall-cmd –permanent –zone=public –add-port=8001/tcp
    sudo firewall-cmd –permanent –zone=public –add-port=8000/tcp
    sudo firewall-cmd –permanent –zone=public –add-port=8089/tcp
    sudo firewall-cmd –permanent –zone=public –add-port=8191/tcp
    sudo firewall-cmd –permanent –zone=public –add-port=8080/tcp
    sudo firewall-cmd –permanent –zone=public –add-port=9997/tcp
    sudo firewall-cmd –reload

  2. 下载splunk安装包到一部linux服务器并scp到另外两台服务器，用splunk用户进行安装
    tar xvzf [splunk_package_name.tgz] -C /opt

  3. 配置开机自启动
    sudo /opt/splunk/bin/splunk enable boot-start -user splunk

  4. 配置init.d权限
    Cd /etc/init.d
    Sudo chmod 755 splunk

  5. 开启splunk服务
    Sudo service splunk start

  6. 通过三部splunk的IP：8000端口进入控制台

  7. 在indexer master里进入Settings > Index Clustering ， 点击 Enable Indexer clustering

  8. 选择Master Node，输入 RF,SF,Security Key,Cluster Label, 点击enable master node

  9. 重启Splunk

  10. 在indexer1与indexer2里进入Settings > Index Clustering，点击 Enable Indexer clustering

  11. 选择Peer Node

  12. 输入indexer master URI,这里注意要写HTTPS与最后要加上：8089端口

  13. 输入peer replication port, security key,点击enable peer node

  14. 重启splunk

Indexer cluster deployment overview

https://docs.splunk.com/Documentation/Splunk/8.0.4/Indexer/Clusterdeploymentoverview

Install Splunk on linux and collecting data

今天主要是想分享一下怎么在linux服务器上部署standalone Splunk并且展示在linux和windows平台上收集日志的过程。同时会讲一下安装的时候我曾经碰见过的问题

以下是主要展示的内容

  1. 在linux系统上安装splunk
  • 获取下载链接
  • tar xvzf [splunk_package_name.tgz] -C /opt
  • [$SPLUNK_HOME]/bin/splunk start –accept-license
  1. Splunk监控linux本机上的日志内容
  2. 在Windows上安装UF并把日志转发到Splunk服务器上

Splunk文档链接:

安装Splunk
https://docs.splunk.com/Documentation/Splunk/8.0.3/SearchTutorial/InstallSplunk

在Windows上安装UF
https://docs.splunk.com/Documentation/Forwarder/8.0.3/Forwarder/InstallaWindowsuniversalforwarderfromaninstaller

在Linux上安装UF
https://docs.splunk.com/Documentation/Forwarder/8.0.3/Forwarder/Installanixuniversalforwarder

UF配置：
https://docs.splunk.com/Documentation/Forwarder/8.0.3/Forwarder/Configuretheuniversalforwarder

具体的分享会在YouTube频道中更新，有任何问题欢迎在YouTube回复中提问
YouTube 链接是https://youtu.be/Hs96Sq6mvrc
如果不方便上YouTube ，可以邮件给我willhktube@gmail.com

Cheers.

Splunk架构分享 | Splunk Architecture

今天准备跟大家分享一下Splunk的架构

首先Splunk这个软件本身是个多面手，这个软件独立可以完成几乎所有大家对Splunk所认知的功能，包括接收日志，处理日志，储存日志，搜索日志，告警，报告，图表等的功能一应俱全。而这么多的功能其实是靠Splunk扮演不同的角色去实现的。

今天准备跟大家拆解一下Splunk，同时介绍几个基本的splunk角色以及部署类型

Splunk basic roles:

这里主要先介绍四个经常会见到的词：

Splunk Instance:

这是一个独立的Splunk Enterprise实例，可以扮演一种或者同时扮演多种角色实现不同的功能。

Indexer:

一个Splunk Enterprise实例，该实例为数据建立索引，将原始数据转换为事件并将结果放入索引中。 它还响应搜索请求来搜索索引数据。

Search Head（SH）

在分布式搜索环境中，Splunk Enterprise实例专门处理搜索管理功能，将搜索请求定向到一组搜索对等方（indexer），然后将结果合并展示给用户。

Universal Forwarder（UF）

转发器的一种类型，负责将数据发送到指定一个或者多个Splunk Enterprise实例。

通用转发器是Splunk Enterprise的专用简化版本，仅包含转发数据所需的基本组件。 通用转发器不支持python，并且没有UI。

在大多数情况下，通用转发器是将数据转发到索引器的最佳方法。

Splunk Deployment modes

  1. Standalone mode

  1. Non-Standalone mode
  • Distributed Search
  • SH Cluster (SHC)
    SH cluster
  • Indexer Cluster
    Indexer Cluster

Splunk Distributed Search Overall Architecture

官方性能建议

< 2GB/day 2 to 300 GB/day 300 to 600 GB/day 600GB to 1TB/day 1 to 2TB/day 2 to 3TB/day
Total Users: less than 4 1 combined instance 1 combined instance 1 Search Head, 2 Indexers 1 Search Head, 3 Indexers 1 Search Head,7 Indexers 1 Search Head, 10 Indexers
Total Users: up to 8 1 combined instance 1 Search Head, 1 Indexers 1 Search Head, 2 Indexers 1 Search Head, 3 Indexers 1 Search Head,8 Indexers 1 Search Head, 12 Indexers
Total Users: up to 16 1 Search Head, 1 Indexers 1 Search Head, 1 Indexers 1 Search Head, 3 Indexers 2 Search Heads,4 Indexers 2 Search Heads,10 Indexers 2 Search Heads, 15 Indexers
Total Users: up to 24 1 Search Head, 1 Indexers 1 Search Head, 2 Indexers 2 Search Heads, 3 Indexers 2 Search Heads, 6 Indexers 2 Search Heads, 12 Indexers 3 Search Heads, 18 Indexers
Total Users: up to 48 1 Search Head, 2 Indexers 1 Search Head, 2 Indexers 2 Search Heads, 4 Indexers 2 Search Heads,7 Indexers 3 Search Heads, 14 Indexers 3 Search Heads,21 Indexers

具体的分享会在YouTube频道中更新，有任何问题欢迎在YouTube回复中提问
YouTube 链接是https://youtu.be/Qw5T_VbfNnE
如果不方便上YouTube ，可以邮件给我willhktube@gmail.com

Cheers.

Splunk简单介绍 | Splunk brief Intro

今天准备做一个Splunk的分享，不会具体到配置方面的内容，主要是简单介绍一下Splunk这个平台到底是在做什么，对用户有什么样的帮助。

为什么要接触Splunk

  1. “Trusted by 90 of the Fortune 100”

  2. 一个高效的日志收集与处理工具

  • 各种类型的日志收集
  • 数据可视化
  • 安全数据分析/告警
  • 运维指标分析/告警
  • 大数据以及机器学习

Splunk 初体验

  • 类似针对日志的Google/Bing搜索引擎
  • 感觉可以做更多的事情，拓展性好

怎么上手Splunk

  1. 准备一个自己的Splunk测试环境
  • 安装简单，跟平时在网络上下载一个软件并安装的过程一样
  1. 多尝试利用Splunk实现自己的想法
  • 找到一个自己想实现的功能
  1. 遇到问题查找答案的途径
  • Google / Bing
  • docs.splunk.com
  • answers.splunk.com
  • 找到其他有splunk经验的朋友交流

简单的搜索例子

  1. 日志搜索
  • index=_internal source=”*metrics.log”
  1. 定义新变量
  • | eval mb = kb / 1024
  1. 数字处理
  • | stats sum(mb) by series
  1. 对处理结果进行再处理
  • | rename sum(mb) as “总大小(mb)”

Dashboard

Splunk Dev

Splunk App and Splunk Add-on

Splunk App

“ Splunk应用程序是针对特定技术或用例打包的知识对象和扩展的集合，从而可以更有效地使用Splunk Enterprise或Splunk Cloud。 ”
例如， Fortinet FortiGate App for Splunk

Splunk Add-on

“ Splunk应用程序不包含完整的UI，通常提供一些自定义配置或数据输入。”
例如， Fortinet FortiGate Add-On for Splunk

具体的分享会在YouTube频道中更新，有任何问题欢迎在YouTube回复中提问
YouTube 链接是https://youtu.be/b1EG7uQ1yIc
如果不方便上YouTube ，可以邮件给我willhktube@gmail.com

Cheers.

Will's First Blog

想了想还是决定用中文吧

先做个简单的自我介绍，大家可以叫我Will，坐标香港。某天发现youtube上找不到一些感兴趣的内容的中文介绍，就想着可以尝试做这个方向的视频，顺便是可以记录一下自己的学习历程。

Cheers.