TensorFlow三大操作之数据索引与切片

【时间:2020年1月30日】从回家到现在已经有10天的时间了,在乡下,对全国整体疫情的情况无法整体把握,个人来看,周边的亲人有松懈的情况,没有将这件事放在心上。下午在家看了李安导演的电影《比利·林恩的中场战事》(Billy Lynn's Long Halftime Walk),相信在不同的时刻,不同的人从中获得东西也不同!

我的感受是“从出生到现在,我还没找到自己生活的意义或者说某种使命感,而让我活到现在的支柱是,我希望未来的某一天,我的家人谈到我时,他们会以我为骄傲;而我经历了23年的人生和从6岁就开始接受的教育告诉我一件事:做一个聪明的人,坚持受教育,做到自律即自由”。或许在30岁以前,我会找到我人生的使命感。

1.顺序索引

  • 基本索引
//ipython练习笔记
In [4]: a = tf.ones([1, 5, 5, 3])

In [5]: a
Out[5]: <tf.Tensor: id=5, shape=(1, 5, 5, 3), dtype=float32, numpy=...>

In [6]: a[0][0]
Out[6]: <tf.Tensor: id=13, shape=(5, 3), dtype=float32, numpy=
array([[1., 1., 1.],
       [1., 1., 1.],
       [1., 1., 1.],
       [1., 1., 1.],
       [1., 1., 1.]], dtype=float32)>

In [7]: a[0][0][0]
Out[7]: <tf.Tensor: id=25, shape=(3,), dtype=float32, numpy=array([1., 1., 1.], dtype=float32)>

//标量
In [8]: a[0][0][0][2]
Out[8]: <tf.Tensor: id=41, shape=(), dtype=float32, numpy=1.0>
  • Numpy风格索引
//ipython练习笔记
In [11]: a = tf.random.normal([4,28,28,3])

In [12]: a[1].shape
Out[12]: TensorShape([28, 28, 3])

In [13]: a[1, 2].shape
Out[13]: TensorShape([28, 3])

In [14]: a[1, 2, 3].shape
Out[14]: TensorShape([3])
//标量
In [15]: a[1, 2, 3, 2].shape
Out[15]: TensorShape([])
  • 【start:end】start为起始位置,end为终止位置,不包含end
In [17]: a = tf.range(10)

In [18]: a
Out[18]: <tf.Tensor: id=81, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

//从idx=x到idx=y,不包含end位
In [19]: a[0:10]
Out[19]: <tf.Tensor: id=85, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

In [20]: a[0:9]
Out[20]: <tf.Tensor: id=89, shape=(9,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8])>

//从idx=0(最初)到某一位
In [21]: a[:10]
Out[21]: <tf.Tensor: id=93, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

In [24]: a[:1]
Out[24]: <tf.Tensor: id=105, shape=(1,), dtype=int32, numpy=array([0])>

//从某一位到idx=N(最后)
In [22]: a[0:]
Out[22]: <tf.Tensor: id=97, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

In [23]: a[9:]
Out[23]: <tf.Tensor: id=101, shape=(1,), dtype=int32, numpy=array([9])>

//倒序索引,最后一位对应的索引为“-1”,倒数第二位对应的索引为“-2”
//从倒数第二位到最后
In [25]: a[-2:]
Out[25]: <tf.Tensor: id=109, shape=(2,), dtype=int32, numpy=array([8, 9])>

//从最初到倒数第二位,不包含倒数第二位
In [26]: a[:-2]
Out[26]: <tf.Tensor: id=113, shape=(8,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7])>

//从倒数最后一位到倒数第一位,不包含倒数第一位
In [28]: a[-10:-1]
Out[28]: <tf.Tensor: id=121, shape=(9,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8])>

//从倒数最后一位到最后一位
In [30]: a[-10:10]
Out[30]: <tf.Tensor: id=129, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

//从倒数第一位到最后
In [31]: a[-1:]
Out[31]: <tf.Tensor: id=133, shape=(1,), dtype=int32, numpy=array([9])>

//特殊形式:【_:_】冒号前后无元素,表示取该维度的所有元素
In [36]: b = tf.random.normal([4,28,28,3])

In [37]: b.shape
Out[37]: TensorShape([4, 28, 28, 3])

In [38]: b[0].shape
Out[38]: TensorShape([28, 28, 3])

In [39]: b[0, :, :, :].shape          //等同于b[0].shape
Out[39]: TensorShape([28, 28, 3])

In [40]: b[0, 1, :, :].shape
Out[40]: TensorShape([28, 3])

In [41]: b[:, :, :, 2].shape
Out[41]: TensorShape([4, 28, 28])

In [42]: b[:, 1, :, :].shape
Out[42]: TensorShape([4, 28, 3])

+【start:end:step】start为起始位置,end为终止位置,不包含end,隔step采样

In [46]: a = tf.range(10)

In [47]: a
Out[47]: <tf.Tensor: id=177, shape=(10,), dtype=int32, numpy=array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])>

//从起始端到终止段,隔2采样,得到偶数序列
In [50]: a[::2]
Out[50]: <tf.Tensor: id=189, shape=(5,), dtype=int32, numpy=array([0, 2, 4, 6, 8])>

In [48]: a[0::2]
Out[48]: <tf.Tensor: id=181, shape=(5,), dtype=int32, numpy=array([0, 2, 4, 6, 8])>

//从1开始,隔2采样,得到奇数序列
In [49]: a[1::2]
Out[49]: <tf.Tensor: id=185, shape=(5,), dtype=int32, numpy=array([1, 3, 5, 7, 9])>

//从起始端到终止端,隔3采样
In [51]: a[::3]
Out[51]: <tf.Tensor: id=193, shape=(4,), dtype=int32, numpy=array([0, 3, 6, 9])>

//倒序
In [52]: a[::-1]
Out[52]: <tf.Tensor: id=197, shape=(10,), dtype=int32, numpy=array([9, 8, 7, 6, 5, 4, 3, 2, 1, 0])>

//倒序,隔2采样
In [53]: a[::-2]
Out[53]: <tf.Tensor: id=201, shape=(5,), dtype=int32, numpy=array([9, 7, 5, 3, 1])>

//[A:B:STEP]中,STEP为负时,从A往起始端采样;从终止端往B采样,不包含B
In [55]: a[2::-1]
Out[55]: <tf.Tensor: id=209, shape=(3,), dtype=int32, numpy=array([2, 1, 0])>

In [54]: a[2::-2]
Out[54]: <tf.Tensor: id=205, shape=(2,), dtype=int32, numpy=array([2, 0])>

In [59]: a[:2:-1]
Out[59]: <tf.Tensor: id=225, shape=(7,), dtype=int32, numpy=array([9, 8, 7, 6, 5, 4, 3])>

+【...】省略号简写代替【:, :, :】,自动推导

In [60]: c = tf.random.normal([2, 4, 28, 28, 3])

In [61]: c[0].shape
Out[61]: TensorShape([4, 28, 28, 3])

In [62]: c[0, :, :, :, :].shape
Out[62]: TensorShape([4, 28, 28, 3])

In [63]: c[0,...].shape
Out[63]: TensorShape([4, 28, 28, 3])

In [64]: c[:, :, :, :, 0].shape
Out[64]: TensorShape([2, 4, 28, 28])

In [65]: c[..., 0].shape
Out[65]: TensorShape([2, 4, 28, 28])

In [66]: c[0, ..., 2].shape
Out[66]: TensorShape([4, 28, 28])

//如果要在中心省略,必须声明前后对应的【:】
In [67]: c[0, ..., 0, :].shape
Out[67]: TensorShape([4, 28, 3])

2.选择性索引

  • tf.gather()
tf.gather(
    params,    //数据
    indices,     //索引序列
    validate_indices=None,  
    axis=None,        //数据维度
    batch_dims=0,    //
    name=None
)
In [81]: a =tf.range(5)

In [82]: a
Out[82]: <tf.Tensor: id=309, shape=(5,), dtype=int32, numpy=array([0, 1, 2, 3, 4])>

In [83]: tf.gather(a, axis=0, indices=[2, 1, 4, 0])
Out[83]: <tf.Tensor: id=312, shape=(4,), dtype=int32, numpy=array([2, 1, 4, 0])>

data:[classes, students, subjects],如何采集各班相应序号学生的对应科目成绩?
//分两步走
a = tf.random.normal([4, 35, 8])
aa = tf.gather(a, axis, [several students]) //先选取相应学生
aaa = tf.gather(aa, axis, [several subjects]) //后选取对应科目

  • tf.gather_nd()

data:[classes, students, subjects],如何采集某不同班级中不同序号学生成绩?
【class1_student1, class2_student2, class3_student3, class4_student4】

tf.gather_nd(
    params,      //数据
    indices,      //联合索引号对应的个体,或者是联合索引号集合对应个体的集合
    batch_dims=0,
    name=None
)
In [88]: a.shape
Out[88]: TensorShape([4, 35, 8])

In [89]: tf.gather_nd(a, [0]).shape
Out[89]: TensorShape([35, 8])

In [93]: tf.gather_nd(a, [[0], [2]]).shape
Out[93]: TensorShape([2, 35, 8])

//标量
In [91]: tf.gather_nd(a, [0, 1, 2]).shape
Out[91]: TensorShape([])
//矢量
In [92]: tf.gather_nd(a, [[0, 1, 2]]).shape
Out[92]: TensorShape([1])

In [94]: tf.gather_nd(a, [[0, 1, 2], [1, 2, 1]]).shape
Out[94]: TensorShape([2])
  • tf.boolean_mask()
tf.boolean_mask(
    tensor,
    mask,        //掩模,匹配其中的True元素
    axis=None,    //数据维度
    name='boolean_mask'
)
In [95]: a = tf.random.normal([4, 28, 28, 3])

In [96]: a.shape
Out[96]: TensorShape([4, 28, 28, 3])

In [97]: tf.boolean_mask(a, mask=[True, True, False, False]).shape
Out[97]: TensorShape([2, 28, 28, 3])

In [98]: tf.boolean_mask(a, mask=[True, True, False], axis = 3).shape
Out[98]: TensorShape([4, 28, 28, 2])

In [103]: tf.boolean_mask(a, mask=[[True, False, False], [False, True, True]])
Out[103]: <tf.Tensor: id=428, shape=(3, 4), dtype=float32, numpy=
array([[1., 1., 1., 1.],
       [1., 1., 1., 1.],
       [1., 1., 1., 1.]], dtype=float32)>

参考资料

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,616评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,020评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,078评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,040评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,154评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,265评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,298评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,072评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,491评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,795评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,970评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,654评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,272评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,985评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,815评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,852评论 2 351

推荐阅读更多精彩内容