Sigmoid的输入范围应该没有限制，输出范围[0,1]，具备概率意义。
我当时遇到的问题具体原因不太记得了，但是我在代码里有写，还有博客最后总结的那些，大概就是输出大小为1的tensor经过Relu之后，如果是小于0的话，那么relu的输出就变成了0， 这样在反向传播进行梯度更新的时候，梯度为0，无法更新模型参数，导致loss不降，模型无法收敛，引以为戒
推荐系统之Wide&Deep模型原理以及代码实践简介 本文要介绍的是Google于2016年提出的Wide&Deep模型，此模型的提出对业界产生了非常大的影响，不仅其本身成功地应用在多家一线互联网公司，而且其后续的改进工作...
@Robert6757 这种问题一般可能是因为验证集和训练集的数据分布不同导致的，或者说训练集中数据较好，但是验证集中有噪声，或者异常值等等，导致两者差别较大，所以在训练集上的loss下降并不能很好的反应在验证集上。
可以看下你的验证集是怎么来的，一般验证集都是从训练集中拆出来的。
推荐系统之Deep Crossing模型原理以及代码实践简介 本文要介绍的Deep Crossing模型是由微软研究院在论文《Deep Crossing: Web-Scale Modeling without Manually C...
@老鼠人 这个应该不会，数据集不会变，确认一下是否下错了，或者简单点，在传入模型之前，先对图片进行一个预处理，resize到 32x32就行了
PyTorch实现经典网络之LeNet5简介 本文是使用PyTorch来实现经典神经网络结构LeNet5，并将其用于处理MNIST数据集。LeNet5出自论文Gradient-Based Learning Appl...
@ParkBoYoung 这只是一份demo代码用于理解ViT的，如果你要使用的话，去github上下载原作者预训练好的模型去跑。
Visual Transformer (ViT) 代码实现 PyTorch版本简介 本文的目的是通过实际代码编写来实现ViT模型，进一步加对ViT模型的理解，如果还不知道ViT模型的话，可以先看下博客[https://www.jianshu.com/p...
@ParkBoYoung 你是怎么用的？用的我这份代码么
Visual Transformer (ViT) 代码实现 PyTorch版本简介 本文的目的是通过实际代码编写来实现ViT模型，进一步加对ViT模型的理解，如果还不知道ViT模型的话，可以先看下博客[https://www.jianshu.com/p...
@飞飞帅傅 看了下，应该是的，
推荐系统数据集之MovieLens简介 MovieLens[https://movielens.org/]其实是一个推荐系统和虚拟社区网站，它由美国 Minnesota 大学计算机科学与工程学院的GroupL...
综述 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种...
简介 K均值聚类，也叫做K-Means Clustering，是一种著名的用于分类问题的无监督机器学习聚类算法。聚类是针对给定的样本， 依靠它们特征的相似度或者距离，将其归到...
那个是压缩文件的，不能直接打开，使用mnist_loader.py文件，里面有读取的代码
手写一个全连接神经网络用于数字识别简介 本文的目的是不借助任何深度学习算法库实现一个简单的3层全连接神经网络(FCN)，并将其用于MNIST[http://yann.lecun.com/exdb/mnist/...
简介 集成学习，顾名思义就是将多种学习器或算法结合在一起，共同做出决策。这符合人类集思广益的做法，在业界也是应用最为广泛的方法之一。注意，集成学习的本质是如何找到不同的模型，...
简介 大概是今年6月份参加微信大数据挑战赛的时候，我才开始认识到特征选择也是机器学习中非常重要的一环。在诸如CTR等比赛中，原始特征往往是不足以挖掘出数据中隐藏的信息的，因此...
简介 决策树模型是最常见的机器学习方法之一，也是入门机器学习必须掌握的知识。决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then...
简介 特征离散化指的是将连续特征划分离散的过程：将原始定量特征的一个区间一一映射到单一的值。离散化过程也被表述成分箱（Binning）的过程。特征离散化常应用于逻辑回归和金融...
简介 本文主要说明特征工程中关于序数特征和类别特征的常用处理方法。主要包含LabelEncoder、One-Hot编码、DummyCoding、FeatureHasher以及...
简介 朴素贝叶斯(naive Bayes)算法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布。然后基于...
简介 在介绍比较复杂的数据类型比如图像和文本数据类似之前，我们首先从最简单的数据类似开始，即：数值类型。我们收集到的数据中，数值类型数据占据了大部分。比如商品价格、人口数量、...
前言 上个月参加了微信大数据挑战赛，由于是第一次参加类似的比赛，并没有什么经验，最终也没有进复赛。不过在这期间还是学到了很多知识，尤其是特征处理相关的内容。接近2周的时间我几...
简介 Transformer出自于Google于2017年发表的论文《Attention is all you need》[https://arxiv.org/abs/170...