debezium 实时同步 kafka 本文档介绍了如何从 mysql 和 oracle 中实时抽取数据到 kafka。 前期准备 2台 linux 服务器用于部署 debe...
IP属地：四川
-
AWS 搭建 Debezium 抽取 RDS 数据到 Kafka
-
AWS 常见问题记录(13-24)1. Athena 查询长时间无反应，也不扫描数据 Athena是serverless服务，因此会使用公用的资源池，提供不同的使用者所提交的各个查询一同使用资源。当一个查询被...
-
AWS 常见问题记录(1-12)
记录自己支持过程中客户提到的一些代表性的问题。 1. cn 区域的 S3 和 apigateway 开启公开访问权限后仍无法访问 在国内托管公开在线内容需要 ICP 备案才能...
-
AWS 连接不上实例的端口的排查思路很多同学经常遇到 EC2 连接不上的情况，有的是创建出来就连接不上，有的是运行的好好的突然就连不上了。如果是创建出来就连不上，先看你的 ec2 安全组有没有开对应的端口，端口...
-
AWS CloudShell - 便捷的 AWS 命令行工具
AWS 在上个月（21年12月）做了一次大的更新，console 有了很大的改动。其中 console 主页上顶部的导航栏多了一个小的命令行的图标。 这个就是新出的服务，Cl...
-
AWS SAA&GCP PCA考证经验
由于公司要求，我在11月连续考了两张证书，aws的助理级架构师和gcp的专家级架构师。两张证书差不多都是半个月的准备时间。现在分享下考证的经验。首先两证的考试是都有题库的，可...
-
AWS DocumentDB 集群创建及连接VPC & 子网 & igw & 路由 & 子网组 创建 docdb 集群需要先有 VPC 和子网组创建 VPC 后，VPC 内的实例并不能和公网通信，需要先创建 igw，再...
-
填充玩家未登录天的等级记录
现在有这样一个需求，需要一段时间每一个玩家的每一天的最大等级。这个需求看似很简单，但其实重点是玩家不一定每天都会登录，对于没有登陆的天，你就拿不到当天的最大等级，所以要做填充...
-
-
BigQuery中拆解字符串并平展为多行
我在介绍bigquery的半结构化数据中介绍过我们总表的结构，但是有些命令的参数个数是不固定的，比如玩家在一次战斗中击杀的敌人种类，有可能有一种，也有可能有两种三种...这种...
-
Looker的driver table中注入用户选择的参数
在LookML中允许使用sql作为view的源表，其实相当于一个视图。在view的定义中把sql_table_name改成drived_table,然后在里面写sql就好了。...
-
BigQuery中的半结构数据和查询BigQuery本身是一个半结构化的数据库，至于半结构化这个东西，简单理解就是mysql中的一列变成了一个json。就向下面这张图一样，图里只有两行数据，但是每行中又由相同的...
-
机器学习（李宏毅）作业1-pytorch实现最近又双叒开始学习机器学习了，这次看了些pytorch的教程，把上次用只用numpy的用pytorch实现一遍。这里推荐一个gitbook：Dive-into-DL-PyTo...
-
BigQuery中的分析函数
在sql中做去重是一件麻烦的事，一般情况下只能通过group by 所有字段来做去重。现在考虑一个简单的情形，我需要统计昨天天玩家身上的金币存量。玩家的金币存量在一天中是多次...
-
玩家留存计算的两种SQL语句
留存简单来说就是某天的注册用户有多少人在多少天后还在继续使用，但具体的定义各个公司可能都不太一样，比如三日留存是在第四天还有登陆的玩家，一天是按现实的0点为分界还是一个玩家完...
-
-
BigQuery在WebUI中使用自定义变量
Google的bigquery是一个强大的云数据库，支半结构化数据，TB级单表的查询，自动扩充什么的，反正就是很NB。除了必须要翻墙和贵之外。。。在bigquery的webU...
-
crontab和pythonpath的神坑
自己写了个python库，但是并没有打包到pip上，只是放在一个文件夹内，自己去引入。最开始使用的方法是用sys.path.append('包的路径')但是后面用的脚本多了，...