因为工作的原因一直在做爬虫的工作,最近就想写一个关于爬虫的系列,一边好好回顾一下自己所学习到的知识,整理一下自己的知识体系,一边也是想分(xuan)享(yao)一下自己多年的经验和心得,方便一下初学者们。
初学爬虫,使用什么语言是第一个选择。因为我是使用python的,这里就以python语言作为这个系列的基础语言。
(一)安装python
先打开终端,输入 python,看看电脑是否已经安装python,通常mac已经安装了,但是是2.7版本。
windows的话就应该没有,windows用户可以去官网下载python。
python现在有两个版本,2.x版本和3.x版本,两个版本都能使用,但语法和工具库上是有区别的,据说2.x版本要在2020年停止维护,所以最好使用3.x版本,直接使用最新版的就好了(我使用的时候是3.7版本)。
下载的时候最好把pip 这个工具下载了。
mac用户如果想安装python3:
1.安装xcode(去app store上下载), 然后安装Xcode command line tool,在终端输入xcode-select --install
2.安装homedrew
ruby-e"$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
在终端验证一下是否安装成功brew doctor
接着就通过 brew install python3
安装python3
最后通过homebrew
(二)pip的使用
打开终端,输入python -m pip --version
,看看电脑是否已经安装了pip,如果没有,windows用户请去Python官网上下载Windows版本pip安装包,苹果用户就下载mac版本(注意要分清楚你需要的是2.x版本还是3.x版本,pip也分2和3哦)。通常苹果用户是会用然后解压,进入解压后的文件夹至可执行目录,如下图所示:
在地址栏那里回车,输入cmd,进入控制台然后输入python setup.py install
就可以安装了。
pip是python专用的安装工具,许多第三方库都是通过pip下载的,但要注意,2和3有些库的名字是有区别的,想要下载某个库时需要搜清楚要下载的是2还是3,有些库在3中是不存在或者和2的名字不一样的。
语法:
pip install xxx
安装库使用
pip install xxx==x.x.x(版本号)
安装某个库的某个版本时,在后面加上版本后就好了
pip install -U xxx
更新库
pip uninstall xxx
删除库
easy_install是python的另一种安装工具,有时候使用pip安装不成功时,使用easy_install 就有可能安装成功
easy_install xxx
安装包
easy_install -U xxx
更新包
通过easy_install 安装的包要卸载非常困难,不建议卸载。
(三)python3简单语法
#!/usr/bin/python
# -*- coding: <encoding name> -*-
#python3默认字符是utf-8,所以可以不加这两句
import xxx #引入第三方库
from xxx import xxx #从第三方库映入某个类
input(5) #输入数字5
print(5) #print 是python的输出符号,在python2中可以不加(),但python3中加入了必须加
#for 循环
for i in range(1,5):
print(i)
'''
特殊的 for 循环
i是代表位置,data是list中这个位置的数据
这是python中的特殊语法,可以同时获得位置和数据
'''
for i,data in enumerate(a_list):
print(i)
print(data)
if a > b:
print('ok')
'''
关于if判断语句的用法,python是使用缩进来判断的,和java是不一样的,没有花括号,多了个“:”。
对了,夹杂点私货,我是个空格党,在sublime text3 里早早设定了tab键=4个空格。
至于其他的,好像没什么要说了,python是门以简单为哲学的语言,很多麻烦的概念都没有
四 编辑器(IDE)
有哪些比较常用的ide呢?
pycharm,sublime text,vs code,vim等等。
有时候在需要大量使用数据分析的工具的时候,使用ipython也是很不错的(一个库?可以在终端使用的编辑器)
我个人比较习惯使用sublime text或者是vi,自己舒服着用就好。