2018-06-09

一、问题汇总:

1、python中的__str__和__repr__方法在类编写中的应用,两者都是用来显示字符串,而对于3__str__方法来说是为了显示给用户,后一个方法主要是显示给开发人员。两者相似,如果没有重新编写这俩函数的话打印类的对象会返回对象类型和存储地址。对“懒惰的__repr__用法是:__repr__=__str__”

2、python中的@property用法,是一个装饰器方法,用来动态将方法加为实例对象可以设置的属性,如果将类方法装饰为一个属性时,那么说明这个属性可以进行读取,但是还不能进行设置,如果在加上@property.setter装饰之后,这个属性就可以在实例对象中进行修改,也就是说这个方法可以读也可以写(更改)。

@property广泛应用在类的定义中,可以让调用者写出简短的代码,同时保证对参数进行必要的检查,这样,程序运行时就减少了出错的可能性。

3、爬虫运用到的数据库安装:数据库软件+可视化软件的安装。MongoDB、Redis(非关系型数据库)、MySQL(关系型数据库)。刚从知乎中了解到菲关系型数据库是阉割了传统关系型数据库acid特性使得数据可更能便捷操作,同时加强了对非结构化数据的支持,他它的名字也是特别有意思,not only SQL就是说我不只是sql,我有的他没有(歪解!!!)。两者的区别:我们知道非关系型数据库存储的形式一般为key-value键值对的存储形式,各个对象之间耦合性很低,可读性好。而对于关系型数据有严格的asci特性。两者运用场景不同对于金融等交易业务安全性和数据格式化程度要求高的场景来说适合关系型数据库,但是对于互联网企业来说,高速变更的业务数据要求更快的存取数据,简化操作,这样来说菲关系型数据库就有着分布式,更容易存取非结构数据等优势。总之,两者的优缺点相对,两者的应用场景不同,两者的应用需求当然也就不尽相同。

#后面系统学习时候在进行相应的补充

4、刚开始学习爬虫时教程给的爬去的网站链接都可以直接爬到多需要的数据,随着学习的深入,发现真正有价值的数据不会直接显示给用户,或者说直接体现在网页代码中,同时相关网站开发人员为了保护网站和数据部署了相应的反爬虫机制,初步了解到反爬虫机制主要是应用三种:检测网站请求头,检测用户行为,数据隐藏。前两种检测到直接封禁ip,这时候我们可以采取添加请求头到请求中,如果ip被封禁,那么可以通过创建代理IP池,爬取网上免费提供的IP地址,存入到数据库中,然后定时更换IP,模拟多用户异地登录的场景,再去部署我们的爬虫。对于第三种来说,不能获取隐藏的信息需要我们进行解析,这个后面在进行补充。

5、还是python中的os模块的用法,可以从官方网站上进行查看官方文档,虽然读的速度很慢但是很容易理解。网站链接:python官方文档

二、明日工作:

1、实现爬取淘宝美食的实战。感觉得用到三小时。

2、建立博客初级模型,今晚找找教程。有时间的话,计划6月底之前,博客能够正式上线。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352

推荐阅读更多精彩内容

  • 在web服务器运行中,为了防止请求的文件打开有异常,要在判断文件是否以“.py”结尾之后加上异常调试。 搜索到了一...
    菩灵阅读 333评论 0 3
  • spring源码分析(八) 目录五、源码分析--6、Spring 事务原理详解----6.1、什么是事务(Tran...
    毛子果阅读 288评论 0 1
  • 区块链:建设互联网的价值高速公路 区块链因比特币而生。一般民众都将比特币简单地视为一种货币,但从根本上来说,区块链...
    爱有天意_d3b1阅读 138评论 0 0
  • 一、 WEB标准的概念及组成 1)WEB标准是网页制作的标准,它不是一个标准,它是根据网页的不同组成部分生成的一系...
    一米阳光的小屋阅读 202评论 0 1
  • 此时此刻 内心极度的不安 就像一艘漂浮在大海的浮萍 没有安全感 危机感如潮水般袭来 我害怕,我恐惧 害怕突然的一个...
    般若青年阅读 163评论 0 0