arm/x86的原子操作实现

总结:

不论arm还是x86,但单核up情况下,关中断就能保证不被打断。

smp情况下,arm是以原子指令保证最终的执行正确性,x86是通过指令对操作内存锁定保证不会被打断。

代码来自linux 5.8.18,有点乱。

arm v6之前的版本不支持smp:

/*

* ARMv6 UP and SMP safe atomic ops.  We use load exclusive and

* store exclusive to ensure that these are atomic.  We may loop

* to ensure that the update happens. // 最后这句话说明了这里原子操作的本质是保持着一动作的完整性,而不会真正的“不可打断、中断”

*/

#define ATOMIC_OP(op, c_op, asm_op)                                    \

static inline void atomic_##op(int i, atomic_t *v)                      \

{                                                                      \

        unsigned long tmp;                                              \

        int result;                                                    \

                                                                        \

        prefetchw(&v->counter);                                        \

        __asm__ __volatile__("@ atomic_" #op "\n"                      \

"1:    ldrex  %0, [%3]\n"                                            \

"      " #asm_op "    %0, %0, %4\n"                                  \

"      strex  %1, %0, [%3]\n"                                        \

"      teq    %1, #0\n"                                              \

"      bne    1b"                                                    \

        : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)              \

        : "r" (&v->counter), "Ir" (i)                                  \

        : "cc");                                                        \

}                                                                      \

x86的原子操作是通过LOCK指令,使得其它指令无法获得

SMP,LOCK指令

static inline void atomic_add(int i, atomic_t *v)

{

        atomic_add_return(i, v);

}

#ifndef atomic_add_return

ATOMIC_OP_RETURN(add, +)

#endif

1. 默认的动作(这里是说如果没有arch定义的情况下)

单核:这里就比较简单了,关中断就保证不会被打断了

#define ATOMIC_OP_RETURN(op, c_op)                                      \

static inline int atomic_##op##_return(int i, atomic_t *v)              \

{                                                                      \

        unsigned long flags;                                            \

        int ret;                                                        \

                                                                        \

        raw_local_irq_save(flags);                                      \

        ret = (v->counter = v->counter c_op i);                        \

        raw_local_irq_restore(flags);                                  \

                                                                        \

        return ret;                                                    \

}

SMP:

#define ATOMIC_OP_RETURN(op, c_op)                                      \

static inline int atomic_##op##_return(int i, atomic_t *v)              \

{                                                                      \

        int c, old;                                                    \

                                                                        \

        c = v->counter;                                                \

        while ((old = cmpxchg(&v->counter, c, c c_op i)) != c)          \

                c = old;                                                \

                                                                        \

        return c c_op i;                                                \

}

#define cmpxchg(ptr, o, n)      cmpxchg_local((ptr), (o), (n))

注意,这里的call tree, 都会优先调用arch里定义的架构实现(ifndef)

atomic_add()

  \_atomic_add_return()

      \_cmpxchg()

2. arm(armv7)的atomic实现

仍然是ldrex、strex实现:

#define ATOMIC_OP_RETURN(op, c_op, asm_op)                              \

static inline int atomic_##op##_return_relaxed(int i, atomic_t *v)      \

{                                                                      \

        unsigned long tmp;                                              \

        int result;                                                    \

                                                                        \

        prefetchw(&v->counter);                                        \

                                                                        \

        __asm__ __volatile__("@ atomic_" #op "_return\n"                \

"1:    ldrex  %0, [%3]\n"                                            \

"      " #asm_op "    %0, %0, %4\n"                                  \

"      strex  %1, %0, [%3]\n"                                        \

"      teq    %1, #0\n"                                              \

"      bne    1b"                                                    \

        : "=&r" (result), "=&r" (tmp), "+Qo" (v->counter)              \

        : "r" (&v->counter), "Ir" (i)                                  \

        : "cc");                                                        \

                                                                        \

        return result;                                                  \

}

这里引用网上来的一个表,说明发生smp并发访问同一个内存的情况下的状态变化:

LDREX  <Rt>, [<Rn>]

<Rn>是base register,保存memory的address,LDREX指令从base register中获取memory address,并且将memory的内容加载到<Rt>(destination register)中。这些操作和ldr的操作是一样的,那么如何体现exclusive呢?其实,在执行这条指令的时候,还放出两条“狗”来负责观察特定地址的访问(就是保存在[<Rn>]中的地址了),这两条狗一条叫做local monitor,一条叫做global monitor。

STREX <Rd>, <Rt>, [<Rn>]

和LDREX指令类似,<Rn>是base register,保存memory的address,STREX指令从base register中获取memory address,并且将<Rt> (source register)中的内容加载到该memory中。这里的<Rd>保存了memeory 更新成功或者失败的结果,0表示memory更新成功,1表示失败。STREX指令是否能成功执行是和local monitor和global monitor的状态相关的。对于Non-shareable memory(该memory不是多个CPU之间共享的,只会被一个CPU访问),只需要放出该CPU的local monitor这条狗就OK了,

3. arm64(ARMv8)的atomic实现

这里使用的是ldxr、stxr

/*

* AArch64 UP and SMP safe atomic ops.  We use load exclusive and

* store exclusive to ensure that these are atomic.  We may loop

* to ensure that the update happens.

*/

#define ATOMIC_OP(op, asm_op, constraint)                              \

static inline void                                                      \

__ll_sc_atomic_##op(int i, atomic_t *v)                                \

{                                                                      \

        unsigned long tmp;                                              \

        int result;                                                    \

                                                                        \

        asm volatile("// atomic_" #op "\n"                              \

        __LL_SC_FALLBACK(                                              \

"      prfm    pstl1strm, %2\n"                                        \

"1:    ldxr    %w0, %2\n"                                              \

"      " #asm_op "    %w0, %w0, %w3\n"                                \

"      stxr    %w1, %w0, %2\n"                                        \

"      cbnz    %w1, 1b\n")                                            \

        : "=&r" (result), "=&r" (tmp), "+Q" (v->counter)                \

        : __stringify(constraint) "r" (i));                            \

}

#define ATOMIC_OP_RETURN(name, mb, acq, rel, cl, op, asm_op, constraint)\

static inline int                                                      \

__ll_sc_atomic_##op##_return##name(int i, atomic_t *v)                  \

{                                                                      \

        unsigned long tmp;                                              \

        int result;                                                    \

                                                                        \

        asm volatile("// atomic_" #op "_return" #name "\n"              \

        __LL_SC_FALLBACK(                                              \

"      prfm    pstl1strm, %2\n"                                        \

"1:    ld" #acq "xr    %w0, %2\n"                                      \

"      " #asm_op "    %w0, %w0, %w3\n"                                \

"      st" #rel "xr    %w1, %w0, %2\n"                                \

"      cbnz    %w1, 1b\n"                                              \

"      " #mb )                                                        \

        : "=&r" (result), "=&r" (tmp), "+Q" (v->counter)                \

        : __stringify(constraint) "r" (i)                              \

        : cl);                                                          \

                                                                        \

        return result;                                                  \

}

注:在ARMv8.1架构中引入atomic instruction, 例如LDADD (Atomic add),CAS(Compare and Swap)

LDXR/ STXR和一般的LDR/STR有什么区别:

-- 这个区别就在于LDXR除了向memory发起load请求外,还会记录该memory所在地址的状态

-- 一般ARM处理器在同一个cache line大小,也就是64 byte的地址范围内共用一个状态,就是Open和Exclusive

4)x86

x86提供了cmpxchg()实现:这里和预想的一致,以LOCK/LOCK_PREFIX解决锁住独占

#define __cmpxchg(ptr, old, new, size)                                  \

        __raw_cmpxchg((ptr), (old), (new), (size), LOCK_PREFIX)

#define cmpxchg(ptr, old, new)                                          \

        __cmpxchg(ptr, old, new, sizeof(*(ptr)))

/*

* Atomic compare and exchange.  Compare OLD with MEM, if identical,

* store NEW in MEM.  Return the initial value in MEM.  Success is

* indicated by comparing RETURN with OLD.

*/

#define __raw_cmpxchg(ptr, old, new, size, lock)                        \

({                                                                      \

        __typeof__(*(ptr)) __ret;                                      \

        __typeof__(*(ptr)) __old = (old);                              \

        __typeof__(*(ptr)) __new = (new);                              \

        switch (size) {                                                \

        case __X86_CASE_B:                                              \

        {                                                              \

                volatile u8 *__ptr = (volatile u8 *)(ptr);              \

                asm volatile(lock "cmpxchgb %2,%1"                      \

                            : "=a" (__ret), "+m" (*__ptr)              \

                            : "q" (__new), "0" (__old)                \

                            : "memory");                              \

                break;                                                  \

        }                                                              \

        case __X86_CASE_W:                                              \

        {                                                              \

                volatile u16 *__ptr = (volatile u16 *)(ptr);            \

                asm volatile(lock "cmpxchgw %2,%1"                      \

                            : "=a" (__ret), "+m" (*__ptr)              \

                            : "r" (__new), "0" (__old)                \

                            : "memory");                              \

                break;                                                  \

        }                                                              \

        case __X86_CASE_L:                                              \

        {                                                              \

                volatile u32 *__ptr = (volatile u32 *)(ptr);            \

                asm volatile(lock "cmpxchgl %2,%1"                      \

                            : "=a" (__ret), "+m" (*__ptr)              \

                            : "r" (__new), "0" (__old)                \

                            : "memory");                              \

                break;                                                  \

        }                                                              \

        case __X86_CASE_Q:                                              \

        {                                                              \

                volatile u64 *__ptr = (volatile u64 *)(ptr);            \

                asm volatile(lock "cmpxchgq %2,%1"                      \

                            : "=a" (__ret), "+m" (*__ptr)              \

                            : "r" (__new), "0" (__old)                \

                            : "memory");                              \

                break;                                                  \

        }                                                              \

        default:                                                        \

                __cmpxchg_wrong_size();                                \

        }                                                              \

        __ret;                                                          \

})

看一下LOCK_PREFIX:

#ifdef CONFIG_SMP

#define LOCK_PREFIX_HERE \

                ".pushsection .smp_locks,\"a\"\n"      \

                ".balign 4\n"                          \

                ".long 671f - .\n" /* offset */        \

                ".popsection\n"                        \

                "671:"

#define LOCK_PREFIX LOCK_PREFIX_HERE "\n\tlock; "

#else /* ! CONFIG_SMP */

#define LOCK_PREFIX_HERE ""

#define LOCK_PREFIX ""

#endif

这段代码汇编后,在 .text 段生成一条 lock 指令前缀 0xf0,在 .smp_locks 段生成四个字节的 lock 前缀的地址链接的时候,所有的 .smp_locks 段合并起来,形成一个所有 lock 指令地址的数组。

在所有的 X86 CPU 上都具有锁定一个特定内存地址的能力,当这个特定内存地址被锁定后,它就可以阻止其他的系统总线读取或修改这个内存地址。这种能力是通过 LOCK 指令前缀再加上下面的汇编指令来实现的。当使用 LOCK 指令前缀时,它会使 CPU 宣告一个 LOCK# 信号,这样就能确保在多处理器系统或多线程竞争的环境下互斥地使用这个内存地址。当指令执行完毕,这个锁定动作也就会消失

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,254评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,875评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,682评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,896评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,015评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,152评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,208评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,962评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,388评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,700评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,867评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,551评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,186评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,901评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,142评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,689评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,757评论 2 351

推荐阅读更多精彩内容