keras下解决 example 案例中 MNIST 数据集下载不了的问题

keras 源码中下载MNIST的方式是 path = get_file(path, origin='https://s3.amazonaws.com/img-datasets/mnist.npz'),数据源是通过 url = https://s3.amazonaws.com/img-datasets/mnist.npz 进行下载的。访问该 url 地址被墙了,导致 MNIST 相关的案例都卡在数据下载的环节。本文主要提供解决方案,让需要的读者可以跑案例的代码感受一下。

下载 mnist.npz 数据集

本文使用的 mnist.npz 数据集是通过一个 japan 的服务器下载得到的,在此免费分享给大家。如果下载有问题的话,可以留言哈。

下载链接:https://pan.baidu.com/s/1jH6uFFC密码: dw3d

下载后文件放在*.py所在目录下

改造原来的文件

#load data

#(X_train, y_train), (X_test, y_test) = mnist.load_data()

import numpy as np

path='./mnist.npz'

f = np.load(path)

X_train, y_train = f['x_train'], f['y_train']

X_test, y_test = f['x_test'], f['y_test']

f.close()

运行效果如下所示:

45568/48000 [===========================>..] - ETA: 4s - loss: 0.0574 - acc: 0.9818

45696/48000 [===========================>..] - ETA: 4s - loss: 0.0576 - acc: 0.9817

45824/48000 [===========================>..] - ETA: 4s - loss: 0.0576 - acc: 0.9817

45952/48000 [===========================>..] - ETA: 3s - loss: 0.0576 - acc: 0.9817

46080/48000 [===========================>..] - ETA: 3s - loss: 0.0576 - acc: 0.9817

46208/48000 [===========================>..] - ETA: 3s - loss: 0.0577 - acc: 0.9817

46336/48000 [===========================>..] - ETA: 3s - loss: 0.0576 - acc: 0.9817

46464/48000 [============================>.] - ETA: 2s - loss: 0.0578 - acc: 0.9817

46592/48000 [============================>.] - ETA: 2s - loss: 0.0577 - acc: 0.9817

46720/48000 [============================>.] - ETA: 2s - loss: 0.0578 - acc: 0.9817

46848/48000 [============================>.] - ETA: 2s - loss: 0.0578 - acc: 0.9817

46976/48000 [============================>.] - ETA: 1s - loss: 0.0579 - acc: 0.9817

47104/48000 [============================>.] - ETA: 1s - loss: 0.0580 - acc: 0.9816

47232/48000 [============================>.] - ETA: 1s - loss: 0.0580 - acc: 0.9816

47360/48000 [============================>.] - ETA: 1s - loss: 0.0580 - acc: 0.9817

47488/48000 [============================>.] - ETA: 0s - loss: 0.0579 - acc: 0.9817

47616/48000 [============================>.] - ETA: 0s - loss: 0.0578 - acc: 0.9817

47744/48000 [============================>.] - ETA: 0s - loss: 0.0578 - acc: 0.9817

47872/48000 [============================>.] - ETA: 0s - loss: 0.0577 - acc: 0.9818

48000/48000 [==============================] - 100s 2ms/step - loss: 0.0577 - acc: 0.9817 - val_loss: 0.0447 - val_acc: 0.9862

Test score: 0.03886812744811614

Test accuracy: 0.9869


完整代码如下:

# -*- coding: utf-8 -*-

__author__ = "TF大Q"

import numpy as np

np.random.seed(1337)

from keras.datasets import mnist

from keras.models import Sequential

from keras.layers import Dense, Dropout, Activation, Flatten

from keras.layers import Convolution2D, MaxPooling2D

from keras.utils import np_utils

from keras import backend as K

# 全局变量

batch_size = 128

nb_classes = 10

epochs = 5

# input image dimensions

img_rows, img_cols = 28, 28

# 卷积滤波器的数量

nb_filters = 32

# size of pooling area for max pooling

pool_size = (2, 2)

# convolution kernel size

kernel_size = (3, 3)

#load data

#(X_train, y_train), (X_test, y_test) = mnist.load_data()

import numpy as np

path='./mnist.npz'

f = np.load(path)

X_train, y_train = f['x_train'], f['y_train']

X_test, y_test = f['x_test'], f['y_test']

f.close()

#from sklearn.cross_validation import train_test_split

from sklearn.model_selection import  train_test_split

#x为数据集的feature熟悉,y为label.

X_train, X_valid, y_train, y_valid = train_test_split(X_train, y_train, test_size = 0.2)

# 根据不同的backend定下不同的格式

if K.image_dim_ordering() == 'th':

    X_train = X_train.reshape(X_train.shape[0], 1, img_rows, img_cols)

    X_test = X_test.reshape(X_test.shape[0], 1, img_rows, img_cols)

    X_valid = X_valid.reshape(X_valid.shape[0], 1, img_rows, img_cols)

    input_shape = (1, img_rows, img_cols)

else:

    X_train = X_train.reshape(X_train.shape[0], img_rows, img_cols, 1)

    X_test = X_test.reshape(X_test.shape[0], img_rows, img_cols, 1)

    X_valid = X_valid.reshape(X_valid.shape[0], img_rows, img_cols,1)

    input_shape = (img_rows, img_cols, 1)

# 类型转换

X_train = X_train.astype('float32')

X_test = X_test.astype('float32')

X_valid = X_valid.astype('float32')

X_train /= 255

X_test /= 255

X_valid /= 255

print('X_train shape:', X_train.shape)

print(X_train.shape[0], 'train samples')

print(X_test.shape[0], 'test samples')

print(X_valid.shape[0], 'valid samples')

# 转换为one_hot类型

Y_train = np_utils.to_categorical(y_train, nb_classes)

Y_test = np_utils.to_categorical(y_test, nb_classes)

Y_valid = np_utils.to_categorical(y_valid, nb_classes)

#构建模型

model = Sequential()

model.add(Convolution2D(nb_filters, (kernel_size[0], kernel_size[1]),

                        padding='same',

                        input_shape=input_shape)) # 卷积层1

model.add(Activation('relu')) #激活层

model.add(Convolution2D(nb_filters, (kernel_size[0], kernel_size[1]))) #卷积层2

model.add(Activation('relu')) #激活层

model.add(MaxPooling2D(pool_size=pool_size)) #池化层

model.add(Dropout(0.25)) #神经元随机失活

model.add(Flatten()) #拉成一维数据

model.add(Dense(128)) #全连接层1

model.add(Activation('relu')) #激活层

model.add(Dropout(0.5)) #随机失活

model.add(Dense(nb_classes)) #全连接层2

model.add(Activation('softmax')) #Softmax评分

#编译模型

model.compile(loss='categorical_crossentropy',

              optimizer='adadelta',

              metrics=['accuracy'])

#训练模型

model.fit(X_train, Y_train, batch_size=batch_size, epochs=epochs,

          verbose=1, validation_data=(X_valid, Y_valid))

#评估模型

score = model.evaluate(X_test, Y_test, verbose=0)

print('Test score:', score[0])

print('Test accuracy:', score[1])

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,242评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,769评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,484评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,133评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,007评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,080评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,496评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,190评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,464评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,205评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,567评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2 335