ElasticSearch的安全配置

安全需求

根据安全的3A要求，ES的安全需求分为以下几点：

• 认证

  一个账号是否合法账号

• 鉴权

  每个账号能够做哪些操作，能够访问哪些索引。

• 审计

  日志审计

此外ES是一款在网络上提供服务的产品，其通讯流量同样需要进行加密。

PS：最近根据之前写的文档做了一遍，发现还是有很多缺失的部分，因此重新做了一下更新。

账号认证

ES的x-pack套件提供了基础的账号认证功能，其功能称为Realm。根据付费情况不同，Realm模块提供不同的认证能力。

• 免费

  只提供本地的账号服务，可通过在elasticsearch.yml进行本地配置。也可以通过ES的security api进行设置。

• 收费

  提供基于LDAP/kerbors/SAML/AD等认证方式。

此外还有一些开源的解决方案，此处不做赘述。

Realm的开启方式：

在ES启动或者配置文件中进行配置：

bin/elasticsearch -E xxx -E xpack.security.enabled=true

需要注意的是，打开Realm后，需要根据后文的配置将集群内部通讯加密功能打开，否则进行下一步时会报错，目前我尝试的是7.4版本，其他版本：

ERROR: [1] bootstrap checks failed
[1]: Transport SSL must be enabled if security is enabled on a [basic] license. Please set [xpack.security.transport.ssl.enabled] to [true] or disable security by setting [xpack.security.enabled] to [false]

这个后来我经过研究发现，如果是使用basic类型的license，那么如果开启了x-pack的安全功能，传输层的ssl加密功能是一定要开启的。但是，如果使用trial类型的license，那么可以选择只开启安全功能，但是不启用传输层加密。不知道这是一个实现上的bug还是故意为之。
开启方法：

POST /_license/start_trial?acknowledge=true

设置默认的用户和组：

bin/elasticsearch-setup-passwords interactive

这个命令名称在7.4版本上似乎和有些资料中描述的不太一致。

控制台输出：

Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]y


Enter password for [elastic]: 
Reenter password for [elastic]: 
Enter password for [apm_system]: 
Reenter password for [apm_system]: 
Enter password for [kibana]: 
Reenter password for [kibana]: 
Enter password for [logstash_system]: 
Reenter password for [logstash_system]: 
Enter password for [beats_system]: 
Reenter password for [beats_system]: 
Enter password for [remote_monitoring_user]: 
Reenter password for [remote_monitoring_user]: 
Changed password for user [apm_system]
Changed password for user [kibana]
Changed password for user [logstash_system]
Changed password for user [beats_system]
Changed password for user [remote_monitoring_user]
Changed password for user [elastic]

为kibana设置用户和密码，修改kibana.yml：

elasticsearch.username: "kibana"
elasticsearch.password: "xxxxxx"

ES会提供一些默认账号供使用，使用者也可以自己创建账号，并为其赋予相应的权限。

我自己配置了以后，使用kibana账号登录kibana居然登录不上，后来换成了elastic账号才能够正常登入kibana，具体原因没有研究，后面有机会再看。

https://www.elastic.co/guide/en/elasticsearch/reference/7.x/built-in-users.html

账号鉴权

ES的鉴权能力采用的是基于角色的访问控制的方法（RBAC）。下图是ES官方文档上的一张图，可以说明这种关系：

authorization.png

ES 提供了两种类型级别的权限，在这两种类别下又有更加细粒度的权限划分：

• 集群操作权限

  提供了各种集群管理能力

• 索引/字段操作

  提供到某个字段级别的访问控制，以及索引级别的操作。

具体提供的权限列表可以从官方文档获取：

https://www.elastic.co/guide/en/elasticsearch/reference/7.x/security-privileges.html

在ES中，用户可以创建角色，并将各种类型的权限赋予角色。

定义角色的官方文档在：

https://www.elastic.co/guide/en/elasticsearch/reference/7.x/defining-roles.html

{
  "run_as": [ ... ], 
  "cluster": [ ... ], 
  "global": { ... }, 
  "indices": [ ... ], 
  "applications": [ ... ] 
}

需要定义的内容分为5个部分：

• run_as

  可作为该角色可以以之名义运行的用户名列表。

  只有本地、文件、LDAP、AD支持这种功能。

• cluster

  该角色支持的集群级别的权限列表，如果不进行设置，则默认该角色不具备集群级别的权限。

• global

  同样是集群级别的权限，与标准的集群权限的区别在于，标准的集群权限判断只单独基于某一个集群动作是否被执行，而global还需要考虑这个动作的参数。该对象目前只限于application

• indices

  提供索引/文档/字段级别的权限

  {
    "names": [ ... ], 
    "privileges": [ ... ], 
    "field_security" : { ... }, 
    "query": "..." 
    "allow_restricted_indices": false 
  }
  

  可以指定：

  name：索引的名称

  privileges：name中指定的索引索引级别的权限

  field_security：

  • 字段级别权限

    比如，可以设置一个文档中某些字段的可访问性，需要注意的是，有一些字段默认是可访问的。（_id、 _type、 _parent、 _routing、 _timestamp、 _ttl、 _size 以及 _index）

    POST /_security/role/test_role1
    {
      "indices": [
        {
          "names": [ "events-*" ],
          "privileges": [ "read" ],
          "field_security" : {
            "grant" : [ "category", "@timestamp", "message" ]
          }
        }
      ]
    }
    

    参考文档 https://www.elastic.co/guide/en/elasticsearch/reference/7.x/field-level-security.html

  query：可以定义一个查询块，对应角色只能获得对应索引在某个查询条件下的权限。

  文档级别权限

  参考文档 https://www.elastic.co/guide/en/elasticsearch/reference/7.x/document-level-security.html

  allow_restricted_indices：默认不建议开启，因为这样会导致该角色获取到内部限制级索引的权限进而获得一些superuser权限。

• application

  提供自定义APP的相关权限。具体见https://www.elastic.co/guide/en/elasticsearch/reference/7.x/defining-roles.html#roles-application-priv

用户和角色都可以在kibana页面上进行修改：

image-20200305172049952.png

通讯加密

通讯流量加密包括集群内部的通讯流量加密以及集群与集群外的通讯流量加密。

集群内部通讯

集群内部通讯的流量加密需要通过对ES进行配置来完成。通过配置证书，使用ssl进行加密。

主要的目的是：1. 防止非法的ES节点加入集群，2. 防止通讯流量被监听。

首先需要制作一个证书，我在这里假设，你并没有预先获得一个CA，需要先生成一个：

bin/elasticsearch-certutil ca

这样，在ES的根目录下会产生一个证书文件，默认名称是elastic-stack-ca.p12

然后使用这个ca生成证书和私钥：

bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

默认情况下，会产生一个PKCS#12格式的文件：elastic-certificates.p12

将这个文件拷贝到预先创建的目录

mv elastic-certificates.p12 config/certs/.

修改elasticsearch.yml文件

xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate 
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12 
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12 

需要注意一点经过实际操作，配置中的相对路径的基准是：$ES_HOME/config/，而非ES本身的根目录。这一点在配置后，启动ES节点会发现报错：

Caused by: java.nio.file.NoSuchFileException: /home/els_usr/elk/elasticsearch-7.4.2/config/certs/elastic-certificates.p12
        at sun.nio.fs.UnixException.translateToIOException(UnixException.java:92) ~[?:?]
        at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:111) ~[?:?]
        at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:116) ~[?:?]
        at sun.nio.fs.UnixFileSystemProvider.newByteChannel(UnixFileSystemProvider.java:219) ~[?:?]
        at java.nio.file.Files.newByteChannel(Files.java:374) ~[?:?]
        at java.nio.file.Files.newByteChannel(Files.java:425) ~[?:?]
        at java.nio.file.spi.FileSystemProvider.newInputStream(FileSystemProvider.java:420) ~[?:?]
        at java.nio.file.Files.newInputStream(Files.java:159) ~[?:?]
        at org.elasticsearch.xpack.core.ssl.TrustConfig.getStore(TrustConfig.java:95) ~[?:?]
        at org.elasticsearch.xpack.core.ssl.StoreTrustConfig.createTrustManager(StoreTrustConfig.java:65) ~[?:?]
        at org.elasticsearch.xpack.core.ssl.SSLService.createSslContext(SSLService.java:384) ~[?:?]
        at java.util.HashMap.computeIfAbsent(HashMap.java:1138) ~[?:?]
        at org.elasticsearch.xpack.core.ssl.SSLService.loadConfiguration(SSLService.java:446) ~[?:?]
        at org.elasticsearch.xpack.core.ssl.SSLService.loadSSLConfigurations(SSLService.java:430) ~[?:?]
        at org.elasticsearch.xpack.core.ssl.SSLService.<init>(SSLService.java:121) ~[?:?]
        at org.elasticsearch.xpack.core.XPackPlugin.<init>(XPackPlugin.java:142) ~[?:?]
        at jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) ~[?:?]
        at jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) ~[?:?]

其中verification_mode会有3种模式：

certificate: 需要使用同样的证书才能加入集群

full: 除了验证证书以外，还需要检测hostname和ip

none: 不需要验证证书即可加入集群，一般在调试情况下使用。

至此，ES集群内部加密通讯配置完成。

参考文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.x/configuring-tls.html#node-certificates

集群对外通讯

ES本身对外提供基于http的rest接口，需要对这个接口的通信进行加密，需要在elasticsearch.yml中配置

xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.keystore.path: certs/elastic-certificates.p12 
xpack.security.http.ssl.truststore.path: certs/elastic-certificates.p12 

使用kibana和ES进行通讯，需要修改kibana的配置文件kibana.yml

elasticsearch.hosts: ["https://127.0.0.1:9200"]
elasticsearch.ssl.verificationMode: none

elasticsearch.username: "kibana"
elasticsearch.password: "kibanapassword"

需要注意的是，ES集群如果是使用自签的证书的话，需要加入配置：

elasticsearch.ssl.verificationMode: none

即使这样，kibana后台也有大量的报错：

 error  [10:15:56.456] [error][client][connection] Error: 140392551204736:error:14094416:SSL routines:ssl3_read_bytes:sslv3 alert certificate unknown:../deps/openssl/openssl/ssl/record/rec_layer_s3.c:1407:SSL alert number 46

 error  [10:17:00.637] [error][client][connection] Error: 140392551204736:error:14094416:SSL routines:ssl3_read_bytes:sslv3 alert certificate unknown:../deps/openssl/openssl/ssl/record/rec_layer_s3.c:1407:SSL alert number 46

同时kibana也需要设置自己的http服务为https：

server.ssl.enabled: true
server.ssl.certificate: "/path/to/kibana-server.crt"
server.ssl.key: "/path/to/kibana-server.key"

参考文档：

https://www.elastic.co/guide/en/elasticsearch/reference/7.x/configuring-tls.html#tls-http

https://www.elastic.co/guide/en/kibana/7.x/using-kibana-with-security.html

https://www.elastic.co/guide/en/kibana/7.x/configuring-tls.html

审计日志

开启ES的审计日志，需要在ES的配置文件elasticsearch.yml中添加配置：

xpack.security.audit.enabled:true

完成配置后，需要重启节点生效。

参考文档：

https://www.elastic.co/guide/en/elasticsearch/reference/master/enable-audit-logging.html

除了开关之外，ES的配置文件中还有很多详细的设置，更多详情可以参考：

https://www.elastic.co/guide/en/elasticsearch/reference/master/auditing-settings.html

在审计功能开启后，相应节点的日志目录下，会有一个xxx_audit.json的文件，里面会有相关的安全事件记录其中。