240 发简信
IP属地:北京
  • ElasticSearch结合LDAP实现权限、用户管控

    项目背景使用ElasticSearch实现数据宽表,处理热交互数据,需要实现权限管控等功能,权限粒度要求精确到列。最初考虑使用Es的SearchGuard开源插件,发现Sea...

  • SpringBoot结合内嵌Redis实现热词搜索功能

    需求说明需要实现一个检索功能,需要查询到最近所有的所有热词,自定需求为所有一个月内检索数量最多的10个热词;这里使用Redis的内存数据库功能,其中Redis的ZSet格式提...

  • 使用ElasticSearch实现检索词补全功能

    需求说明系统是基于ES进行检索,在输入检索内容时,需要自动补全后续内容,例如输入【危害】,会自动提示【危害国家安全、危害民众安全】等信息;这里使用ElasticSearch提...

  • ELASTICSEARCH单播方式搭建

    集群: 10.226.204.6;10.226.204.8;10.226.204.9 三台机器配置好jdk,将es拷贝到每一台机器上的相同目录下(/home/elk/elas...

  • Ambari HDP stack配置记录

    之前的理解: 安装ambari server和ambari agent之后,需要修改ambari server中的HDP对应的python安装文件时(比如/var/lib/a...

  • Java调用Hive-metastore接口

    需求:对hive的元数据进行查询,之前师姐的实现方法是通过对MySql的hive元数据数据库操作,进而实现查询。但是该方法太过于麻烦和复杂,在网上查询之后发现,hive提供H...

  • ceph docker搭建

    centos7.4 docker环境搭建ceph集群 docker镜像 注意下载的ceph镜像版本需要指定为latest-luminous,网上其他的docker搭建讲解都是...

  • ceph-ansible 部署

    利用ceph-ansible工程,快速部署ceph集群Centos 7ansible 2.7ceph luminousceph-ansible stable-3.2 注意:根...

  • oozie-hive-ssh调用

    hive oozie调用hive action,注意,不是使用hive2 actionoozie需要上传 workflow.xml文件到hdfs目录中,script.q上传到...

  • Ceph版本luminous安装记录

    创建云主机Admin-deploy 部署节点,用于部署Mon 监控节点Osd1 osdOsd2 osd副本数为2 准备:每台云主机创建cephd账户,并配置该用户免密码使用s...

  • Ceph 对象存储

    新建云主机作为网关节点,配置cephd用户,配置免密码登录,配置admin-deploy节点/etc/hosts,配置网关节点/etc/hosts,配置cephd账户免ssh...

  • 主机挂载s3fs目录,挂载ceph bucket

    s3fs简介 S3FS是google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口,兼容POSIX语义。S3fs是基于FUSE开发文件系统,允许Linu...

  • ceph rgw:bucket policy实现

    相比于aws,rgw的bucket policy实现的还不是很完善,有很多细节都不支持,并且已支持的特性也在很多细节方面与s3不同,尤其是因为rgw不支持类似s3的accou...