Elasticsearch表达式

使用脚本，可以在Elasticsearch中评估自定义表达式。
例如可以使用脚本来返回“脚本字段”作为搜索请求的一部分，或评估查询的自定义分数。
“painless”为默认的脚本语言。painless、expression为Elasticsearch内置支持。
在Elasticsearch API中使用脚本都遵循相同的格式：

"script": {
    # 指定脚本表达式的语言
    "lang": "painless|expression|groovy|javascript|mustach|python|java",
    # 加载脚本的方式：source源码，id已经存在的脚本，file存储在文件中的脚本
    "source" | "id" | "file": ".....",
    "params": { ..... }
}

painless和expression是默认内置的脚本表达式。painless是默认的脚本语言。查询示例：

curl -XGET localhost:9200/shakespeare/_search?pretty -d'
{
    "script_fields": {
       "my_field": {
          "script": {
             "lang": "painless",
             "source": "doc.line_id.value * params.value",
             "params": {
                 "value": 2
             }
          }
       }
   }
}'

已存储的脚本

使用_scripts RestAPI将脚本存储在集群中或者使用已经存储在集群中的脚本。

创建存储脚本

$ curl -XPOST localhost:9200/_scripts/my_score?pretty -d'
{
  "script": {
     "lang": "painless",
     "source": "doc.line_id.value * params.value"
  }
}'

$ curl -XGET localhost:9200/_scripts/my_score?pretty

$ curl -XGET localhost:9200/shakespeare/_search?pretty -d'
{
   "script_fields": {
      "my_field": {
         "script": {
            "id": "my_score",
            "params": {
           "value": 2
        }
         }
      }
   }
}'

删除存储脚本

$ curl -XDELETE localhost:9200/_scripts/calculate-score?pretty

• 默认情况下，所有脚本都是被缓存的，因此仅在更新时才需要重新编译它们，它没有过期时间。script.cache.expire
• 默认情况下，脚本没有超时期限，但是可以使用 script.cache.expire 设置更改此行为
• 默认情况下，脚本缓存大小为100。可以使用 script.cache.max_size 设置配置此缓存的大小。

脚本引擎

ScriptEngine是用于实现脚本语言的后端。它也可以用于编写需要使用脚本内部高级功能的脚本。例如，一个脚本希望在评分时使用词频。需要实现ScriptEngine，同时应实现ScriptPlugin接口并覆盖getScriptEngine方法。

Elasticsearch插件

Elastic SQL插件

Elasticsearch SQL是一个X-Pack组件，它允许针对Elasticsearch实时执行类似SQL的查询。无论使用REST接口，命令行还是JDBC，任何客户端都可以使用SQ搜索或聚合数据。可以将Elasticsearch SQL看作是一种翻译器，它可以将SQL解释成Elasticsearch可以理解的查询语言，并利用Elasticsearch完成大规模读取和处理数据。

安装插件

$ ./elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/5.6.16.0/elasticsearch-sql-5.6.16.0.zip

使用插件

6.2及以上版本，Elastic SQL被集成到X-Pack中。

$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/_sql -d'
{
   "query":"select * from shakespeare"
}'

6.2以下，Elastic SQL需要单独安装。

$ curl -XGET -u elastic:abcd_123 localhost:9200/_sql \
    -H'Content-Type：application/json' -d'select * from shakespeare'
    
$ curl -XGET -u elastic:abcd_123 localhost:9200/_sql/_explain \
    -H'Content-Type：application/json' -d'select * from shakespeare'

X-Pack插件

X-Pack是一个Elastic Stack扩展，将安全性，警报，监控，报告，机器学习和图形功能捆绑到一个易于安装的软件包中。要使用X-Pack，必须在Elasticsearch中安装与Elasticsearch版本相匹配的X-Pack。如果在群集上首次安装X-Pack，则必须执行完整群集重新启动。安装X-Pack后，必须在群集中的所有节点上启用安全性和安全性才能使群集正常运行。

在线安装

$ ./elasticsearh-plugin install x-pack

离线安装

# 下载离线安装包
$ wget https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.6.16.zip

# 安装离线安装包
$ ./elasticsearh-plugin install file:///path/to/x-pack-5.6.16.zip

Elasticsearch，Kibana和Logstash的X-Pack插件包含在同一zip文件中。如果已经下载该文件，想在其他产品上安装X-Pack，可以重复使用该文件。

配置插件

1. 安全设置

配置xpack.security可以进行启用匿名访问和执行查询的身份验证，设置文档和字段级安全性，配置领域以及使用SSL加密通信等设置。

2.审核设置

3.监控设置

默认情况下，X-Pack监控被启用，但是数据收集被禁用，高级监控设置使你能够控制收集数据的频率、配置超时以及为本地存储的监控索引设置保留期，还可以调整监控数据的显示方式。

使用插件

安装X-Pack后，插件提供了三个默认账户：

• elastic/changeme
• kibana/changeme
• logstash/changeme

$ curl -XGET -u elastic:changeme localhost:9200/_xpack/license?pretty
$ curl -XGET -u kibana:changeme localhost:9200/_xpack/license?pretty
$ curl -XGET -u logstash_system:changeme localhost:9200/_xpack/license?pretty

用户管理

# 创建用户
$ curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi -d'
{
   "password": "abcd_123",
   "roles": ["admin", "other_role1"],
   "full_name": "yunxi",
   "email": "abcd_123@test.com"
}'

# 查看用户 
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/user?pretty

# 禁用用户
$ curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi/_disabled

# 启用用户
$ curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi/_enabled

# 删除用户
$ curl -XDELETE -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi

• password 用户密码，最少6个字符。必填。
• roles 用户所属的一组角色。必填。
• full_name
• email
• metadata 用户元数据。

角色管理

使用角色映射API，可以添加，删除和检索角色映射。要使用此API，必须至少拥有manage_security权限。

# 创建角色
$ curl -XPOST -u elastic:changeme localhost:9200/_xpack/security/role/my_role -d'
{
  "cluster": ["all"],
  "indices": [{
      "names": [ "news", "blog" ],
      "privileges": ["all"],
      "field_security" : {
        "grant" : [ "title", "body" ]
      },
      "query": "{\"match\": {\"title\": \"foo\"} }"
  }],
  "run_as": [ "other_user" ],
  "metadata" : { 
    "version" : 1
  }
}'
# 查看角色
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role?pretty
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role/my_role,ingest_admin?pretty
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role?pretty

权限管理

has_privileges可以确定登录的用户具有的特权列表。所有用户都可以使用此API，但只能查看自己的特权。

curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/role_mapping/administrator -d '
{
   "roles": ["user", "admin"],
   "enabled": true,
   "rules": {
      "field": { "username": ["admin01", "admin02"] }
   }
}'

$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role_mapping/administrator?pretty

$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role_mapping?pretty

集群权限

索引权限

字段和文档级安全

可以通过向角色添加字段和文档级别的安全权限来控制对索引内数据的访问。字段级别的安全权限将限制对文档中特定字段的访问。文档级安全权限限制了对索引中特定文档的访问。角色可以基于每个索引的字段和文档级别设定权限，未指定字段级别权限的角色将授予对所有字段的访问权限。同样，不指定文档级别权限的角色将授予对索引中所有文档的访问权限。

"indices": [{
      "names": [ "news-*" ],
      "privileges": [ "read" ],
      "field_security" : {
        "grant" : [ "title", "@timestamp", "body" ]
      }
  }]

"indices": [{
      "names": [ "*" ],
      "privileges": [ "read" ],
      "field_security" : {
        "grant" : [ "title-*" ]
      }
  }]
  
  
  "indices": [{
      "names": [ "*" ],
      "privileges": [ "read" ],
      "field_security" : {
        "grant" : [ "*" ]，
        "except": [ "news.*" ]
      }
  }]