最近一直忙期末汇报和脚本编写,没来的及接着往下写文章,年前把这一块写了,然后再往下的分析流程就比较特异性了,做一步写一步那种,相对于这种已经常规化的流程(除了一些细节上的...
1 起源 由于经典的位置编码(余弦/正弦函数)仅编码绝对位置:只告诉模型"这是第几个词",没有直接编码词与词之间的相对距离,需要模型间接学习相对关系:Transformer必...
参数量 模型参数量: 39,876,655,建议在GPU上训练,mac带不动啊,哈哈哈哈哈 代码 1 config.py 2 utils.py 3 model.py 4 tr...
1 core formula 可以看到偶数维度和奇数维度的括号内是相同的,只不过一个是正弦一个是余弦。所以在偶数位置[:, 0::2]使用sin(x)之后,只需要把[:, 1...
1 背景介绍 在上一篇文章中,我们介绍了Encoder-Decoder架构,但是这个架构有个问题。就是如果想建模长序列的话,最终encoder编码的最后一个时间步的隐状态很可...
1 背景 在neural machine translation的任务中,由于RNN每个时间步只能看到过去的信息,无法看到完整的上下文。除此之外,由于source langu...
1 RNN的缺点 上文我们已经介绍了经典的RNN。这篇文章主要聚焦在RNN的改良版:LSTM。关于RNN的,教科书上说RNN容易造成梯度消失或梯度爆炸,但是为什么呢?如果有一...
1 RNN的架构及原理 关键函数h_t = f(Wxhx_t + Whhh_{t-1} + bh)y_t = g(Why*h_t + by) 2 说人话 我举一个例子,比如R...
1 CNN中的一些重要的概念 关于卷积,就是卷积核(kernel)在figure上移动,对应位置相乘然后求和(加权和) 关于池化,分为最大池化和平均池化,是一种下采样(降维)...
小小的眼睛里,装着……大大的疑惑 全文2800字,伤脑筋…… 今天尝试把自己对于 stranded、reverse-stranded、un-stranded 这个问题的理解给...
1. *基模型与逻辑回归 在机器学习中,堆叠模型(Stacking) 是一种常用的集成方法,它将多个基模型(base model)的预测结果作为新特征,输入到一个二层模型(通...
写在前面, 本文中使用了 3 个对照组和 3 个实验组,能够满足大多数实验者的需求,除此之外,本文涵盖WGBS 处理的上下游,需要处理WGBS/手头上有 WGBS 数据但是没...
说明,这是搬运的官网教程,我写了注释/我的理解等等,可以说是自己的笔记。 喜欢的留留言,动动小手点点赞呀!😘 参考: https://bioconductor.org/pac...
测序没有特异性吧?链特异性是建库导致的
技能——如何判断测序数据是否是链特异性前面的帖子一文阐述链特异性测序——stranded? reverse-stranded? un-stranded?[https://www.jianshu.com/p/670...
Cross-validation(交叉验证)与普通训练的区别及CV的意义 一、核心区别对比 对比维度普通训练(Hold-out)交叉验证(CV)数据划分方式固定分为训练集和测...
写的真好
《Scikit-Learn与TensorFlow机器学习实用指南》 第07章 集成学习和随机森林(第一部分 机器学习基础)第01章 机器学习概览第02章 一个完整的机器学习项目(上)第02章 一个完整的机器学习项目(下)第03章 分类第04章 训练模型第05章 支持向量...
(第一部分 机器学习基础)第01章 机器学习概览第02章 一个完整的机器学习项目(上)第02章 一个完整的机器学习项目(下)第03章 分类第04章 训练模型第05章 支持向量...
1.Introduction: 一些集成学习的策略: Bagging(Bootstrap Aggregating)Bagging 的目标是通过减少模型的方差来提高性能,适用于...