ARTS #43

Algorithm

39. 组合总和

import (
    "sort"
)

func combinationSum(candidates []int, target int) (result [][]int) {
    sort.Ints(candidates)
    path := []int{}
    dfs(candidates, target, 0, path, &result)
    return
}

func dfs(candidates []int, target int, idx int, path []int, result *[][]int) {
    // fmt.Printf("target:%v,idx:%v,path:%v,result:%v\n", target, idx, path, result)
    if idx == len(candidates) {
        return
    }
    if target == 0 {
        currentPath := append([]int{}, path...)
        *result = append(*result, currentPath)
        // fmt.Printf("target is 0! target:%v,idx:%v,path:%v,result:%v\n", target, idx, path, result)
        return
    }
    for i := idx; i < len(candidates); i++ {
        if target-candidates[i] >= 0 {
            path = append(path, candidates[i])
            dfs(candidates, target-candidates[i], i, path, result)
            path = path[:len(path)-1]
        }
    }
}

Review

How to Structure a Golang Project

作者讲述了他自己怎么组织Go后端项目,可以参考下。

TIP

这周在开发工单系统的过程中调研并了解了EAV(entity-attribute-value)模型,并计划在工单系统中落地。

需求

工单系统的主要实体(entity)就是工单。工单有一个特点就是除了一些常用的basic属性(工单ID、标题、内容、经办人等)外用户经常会提出需求一些定制化的属性。比如用户A希望他的工单能增加一个git仓库地址的属性字段,用户B希望他的工单增加一个工单所属服务名的属性字段。

数据库设计难点

那么问题来了,这时候mysql数据库要怎么设计才能满足这种可预知的扩展需求呢?大家经常采用的设计模式有:

策略 好处 问题
预留一个extra字段,内容为json 扩容方便,新增加的属性在业务代码中转换为json内容后写入extra字段 低版本mysql不支持json类型、json字段不能加索引也不能做表关联、扩展字段的搜索不方便
预留多个varchar extra字段 具有一定的扩展性、extra字段可以加索引和其他联表、搜索操作 不能无限扩容,当自定义字段超过原本预留的属性上限之后还是有问题、造成空间浪费,有些工单只需要基本属性却要占用多个自定义字段、预留的字段类型类型单一

EAV模式

可以看到以上常用的预留字段模式都存在一定的局限性,但是EAV模式能够较好的解决自定义扩展字段的数据库设计问题。

废话不多说直接上举例子来说明

entity表

ID title oprator
1 工单1 linhuaqing1@bytedance.com
2 工单2 linhuaqing2@bytedance.com

Attribute表

ID attribute_name type
1 git地址 varchar
2 level int

value表

value_varchar

ID entity_id attribute_id value
1 1 1 https://linhuaqing0928.github.io/

value_int

ID entity_id attribute_id value
1 1 2 1

不同类型的扩展字段各自对应一个value表

EAV模式的优缺点

通过上面的几个数据库表设计,大家应该很容易理解eav其实就是把原来的扩展字段从列转换为行。大大提升了扩展性。

优点

  1. 扩展性很高,可以说是无限扩展。
  2. 扩展字段也支持索引、联表、搜索等等。
  3. 数据库空间基本不会浪费。

缺点

  1. 工单查询变得非常复杂,每一个简单的工单查询都需要关联至少3个以上的表进行join操作。并且联表查询的结果还需要在业务代码中进行一系列操作和转换才能得到前端需要的工单字段样式。 如果qps比较大的情况下数据库可能会扛不住,这时候可能就需要引入缓存机制来减少数据库的查询压力,当然一旦加入缓存就又会引入缓存一致性的问题这就是后话了。
  2. 业务DAO层的复杂度和学习曲线大大上升。

Share

几种缓存和数据库的同步策略,及其优缺点

对比

策略 并发场景 潜在问题 应对方案
更新数据库+更新缓存 写+读 线程A未更新完缓存之前,线程B的读请求会短暂读到旧值 可以忽略
更新数据库+更新缓存 写+写 更新数据库的顺序是先A后B,但更新缓存时顺序是先B后A,数据库和缓存数据不一致 分布式锁(操作重)
更新缓存+更新数据库 无并发 线程A还未更新完缓存但是更新数据库可能失败 利用MQ确认数据库更新成功(较复杂)
更新缓存+更新数据库 写+写 更新缓存的顺序是先A后B,但更新数据库时顺序是先B后A 分布式锁(操作很重)
删除缓存值+更新数据库 写+读 写请求的线程A删除了缓存在更新数据库之前,这时候读请求线程B到来,因为缓存缺失,则把当前数据读取出来放到缓存,而后线程A更新成功了数据库 延迟双删(但是延迟的时间不好估计,且延迟的过程中依旧有不一致的时间窗口)
更新数据库+删除缓存值 写+读(缓存命中) 线程A完成数据库更新成功后,尚未删除缓存,线程B有并发读请求会读到旧的脏数据 可以忽略
更新数据库+删除缓存值 写+读(缓存不命中) 读请求不命中缓存,写请求处理完之后读请求才回写缓存,此时缓存不一致 分布式锁(操作重)

具体方案

  1. 延迟双删策略:既然可能因为读请求把一个旧的值又写回去,那么我在写请求处理完之后,等到差不多的时间延迟再重新删除这个缓存值。
  2. 缓存设置过期时间:给缓存设置expire时间,在异常情况下可以保障脏数据不会永远存在。
  3. 引入消息中间件:在缓存更新操作失败的特殊情况下可以通过利用消息中间件的retry特性来让操作最终成功。
  4. 订阅 MySQL binlog 的方式处理缓存:把缓存更新或者删除的操作从业务逻辑中移除,保证业务逻辑的纯粹性。

原文:挑战大型系统的缓存设计——应对一致性问题

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,458评论 6 513
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,030评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,879评论 0 358
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,278评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,296评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,019评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,633评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,541评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,068评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,181评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,318评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,991评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,670评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,183评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,302评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,655评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,327评论 2 358

推荐阅读更多精彩内容

  • Schema与数据类型优化 选择优化的数据类型 有几个简单的原则: 更小的通常更好一般情况下使用可以正确存储数据的...
    陈晨_软件五千言阅读 3,524评论 1 65
  • ORA-00001: 违反唯一约束条件 (.) 错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常。 O...
    我想起个好名字阅读 5,328评论 0 9
  • 一、MySQL架构与历史 A.并发控制 1.共享锁(shared lock,读锁):共享的,相互不阻塞的 2.排他...
    ZyBlog阅读 19,839评论 3 177
  • 全书的重点在四五六章:如何建表、如何建索引、如何查询。第一章讲解了一些基本概念:锁与事物隔离 重中之重:4.1数据...
    AbrahamW阅读 988评论 0 0
  • 内存模型以及分区 JVM分为虚拟机栈、堆、方法区、本地方法区堆,用来存放实例化对象、非static成员变量,属于线...
    北京黄小胖阅读 1,235评论 0 0