Elasticsearch 教程-精确查询(1)-数据准备

本篇在Elasticsearch中创建基础数据,为*精确查询*系列提供数据初始化。

1. 创建索引及类型

  • 索引名:order
  • 类型名:order
  • 创建脚本:
PUT /order/order/_mapping
{
    "properties": {
        "dateId": {#日期
            "type": "keyword"
        }
        ,"retailerCode": {#客户代码
            "type": "keyword"
        }
        ,"orderCode": {#订单号
            "type": "keyword"
        }
        ,"barCode": {#规格代码
            "type": "keyword"
        }
        ,"saleNum": {#销量
            "type": "double"
        }
        ,"saleMoney": {#销售额
            "type": "double"
        }
        ,"needNum": {
            "type": "double"
        }
        ,"updateTime": {
            "type": "date"
        }
        ,"cityCode": {#地市代码
            "type": "keyword"
        }
        ,"levelCode": {#客户级别
            "type": "integer"
        }
    }
    
}
  • ES 5.*之后,把string字段设置为了过时字段,引入text,keyword字段,这两个字段都可以存储字符串使用
  • keyword:存储数据时候,不会分词建立索引,适合精确匹配
  • text:存储数据时候,会自动分词,并生成索引,适合全文检索

2. 插入数据

  • 通过程序模拟数据导入,先导入相关的包:Elasticsearch api包,包括json序列表包

    <dependency>
        <groupId>org.elasticsearch.client</groupId>
        <artifactId>elasticsearch-rest-high-level-client</artifactId>
        <version>6.1.1</version>
    </dependency>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.45</version>
    </dependency>
  • 通过RestHighLevelClient模拟数据并插入,代码如下:
package com.ctitc.es;

import java.io.IOException;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;

import org.apache.http.HttpHost;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentType;
import org.joda.time.DateTime;

import com.alibaba.fastjson.JSONObject;
import com.ctitc.util.Order;

/**
 * 使用高级api
 * 
 * @author zongbo
 *
 */
public class HighRestClientForOrder {

    public static int count = 0;

    public static void main(String[] args) {
        RestHighLevelClient client = null;

        try {
            client = new RestHighLevelClient(RestClient.builder(
                    new HttpHost("192.168.1.191", 9200, "http")
                    // , new HttpHost("192.168.1.192", 9200, "http") 多个用逗号分隔
            ));

            long startTimeall = System.currentTimeMillis();
            for (int cityIndex = 0; cityIndex < 10; cityIndex++) {// 模拟地市

                for (int barIndex = 0; barIndex < 100; barIndex++) {// 模拟规格

                    long startTime = System.currentTimeMillis();

                    List<Order> list = getOrderList(cityIndex, barIndex);

                    long endTime1 = System.currentTimeMillis();
                    System.out.println("查询时间:" + (endTime1 - startTime) + "ms");

                    BulkResponse reponse = save(client, list);
                    if (reponse.hasFailures()) {
                        System.out.println("本次请求有错误 " + reponse.buildFailureMessage());
                    }
                    long endTime = System.currentTimeMillis();

                    System.out.println("单次迁移时间: " + (endTime - startTime) + "ms,查询时间:" + (endTime1 - startTime)
                            + "ms,插入es时间:" + (endTime - endTime1));

                }

            }

            long endTimeall = System.currentTimeMillis(); // 获取结束时间
            System.out.println("所有运行时间: " + (endTimeall - startTimeall) + "ms");

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (client != null) {
                try {
                    client.close();
                } catch (IOException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }

    }

    private static List<Order> getOrderList(int cityIndex, int barIndex) throws SQLException {
        String cityCode = "city_" + cityIndex;
        String barCode = "bar_" + barIndex;

        DateTime dt = DateTime.now();
        List<Order> list = new ArrayList<Order>();
        for (int i = 0; i < 20; i++) {// 模拟日期
            String dateId = dt.plusDays(i).toString("yyyyMMdd");
            for (int j = 1; j < 30; j++) {// 模拟档位
                int levelCode = j;
                for (int x = 0; x < 200; x++) {// 模拟零售户
                    String retailerCode = "retailer_" + x;
                    int orderTime = x % 9 == 0 ? 2 : 1;
                    for (int y = 0; y < orderTime; y++) {// 模拟零售户订购次数
                        Order o = new Order();
                        o.setOrderCode("order_" + count++);
                        o.setUpdateTime(new Date());
                        o.setBarCode(barCode);
                        o.setCityCode(cityCode);
                        o.setDateId(dateId);
                        o.setLevelCode(levelCode);
                        o.setRetailerCode(retailerCode);
                        o.setSaleMoney((1000.0 + (int) (Math.random() * 100)));
                        o.setSaleNum((5.0 + (int) (Math.random() * 10)));// 条 5-15
                        o.setNeedNum((15.0 + (int) (Math.random() * 10)));// 条 5-15
                        list.add(o);
                    }
                }
            }
        }

        return list;
    }

    private static BulkResponse save(RestHighLevelClient client, List<Order> list) throws IOException {
        BulkRequest request = new BulkRequest();
        request.timeout(TimeValue.timeValueMinutes(1)); // 设置超时,等待所有节点确认索引已打开(使用TimeValue形式)
        // request.timeout("2m"); //设置超时,等待所有节点确认索引已打开(使用字符串形式)
        for (Order o : list) {
            // 添加到请求中 索引:retailer 类型:base _id:retaielr.getRetailerCode()
            request.add(new IndexRequest("order", "order").source(JSONObject.toJSONString(o), XContentType.JSON));
        }
        // 执行请求
        return client.bulk(request);
    }

}

  • 其中Order是与es mapping字段一样的javaBean
package com.ctitc.util;

import java.util.Date;

public class Order {
    private String retailerCode;
    private String dateId;
    private String orderCode;
    private String barCode;
    private Double saleNum;
    private Double saleMoney;
    private Double needNum;
    private int levelCode;
    private String cityCode;
    private Date updateTime ;
    
    
    
    public Date getUpdateTime() {
        return updateTime;
    }
    public void setUpdateTime(Date updateTime) {
        this.updateTime = updateTime;
    }
    public String getRetailerCode() {
        return retailerCode;
    }
    public void setRetailerCode(String retailerCode) {
        this.retailerCode = retailerCode;
    }
    public String getDateId() {
        return dateId;
    }
    public void setDateId(String dateId) {
        this.dateId = dateId;
    }
    public String getOrderCode() {
        return orderCode;
    }
    public void setOrderCode(String orderCode) {
        this.orderCode = orderCode;
    }
    public String getBarCode() {
        return barCode;
    }
    public void setBarCode(String barCode) {
        this.barCode = barCode;
    }
    public Double getSaleNum() {
        return saleNum;
    }
    public void setSaleNum(Double saleNum) {
        this.saleNum = saleNum;
    }
    public Double getSaleMoney() {
        return saleMoney;
    }
    public void setSaleMoney(Double saleMoney) {
        this.saleMoney = saleMoney;
    }
    public Double getNeedNum() {
        return needNum;
    }
    public void setNeedNum(Double needNum) {
        this.needNum = needNum;
    }
    public int getLevelCode() {
        return levelCode;
    }
    public void setLevelCode(int levelCode) {
        this.levelCode = levelCode;
    }
    public String getCityCode() {
        return cityCode;
    }
    public void setCityCode(String cityCode) {
        this.cityCode = cityCode;
    }
    
    
    
}

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,122评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,070评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,491评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,636评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,676评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,541评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,292评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,211评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,655评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,846评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,965评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,684评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,295评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,894评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,012评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,126评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,914评论 2 355

推荐阅读更多精彩内容

  • Solr&ElasticSearch原理及应用 一、综述 搜索 http://baike.baidu.com/it...
    楼外楼V阅读 7,291评论 1 17
  • 在上一篇文章中,我们知道client和ES交互的数据格式都是json,也知道了ES中的index和type的关系。...
    11舍的华莱士阅读 3,333评论 0 1
  • 转 # https://www.cnblogs.com/easypass/archive/2010/12/ 08/...
    吕品㗊阅读 9,728评论 0 44
  • 我,不愿只做浮云,飘扬在寂寞的夜空中,看你的影印在心湖之上; 我,不远只做高山,耸立在密林之间,偷望你娇美的脸庞;...
    雲開月明阅读 206评论 0 1
  • 你 看不透的你 一直那样笑着的你 有点傻的你 你 看不透的你 一直那样沉默的你 灰色的你 你 看不透的你 总想问你...
    苏莫丂阅读 258评论 2 2