最近因为在学网页爬虫,然后爬取下来的数据需要用数据库来保存,这里我选择了使用Mongodb,使用他的主要愿意就是因为操作方便。
首先是建立数据库:
import pymongo
client = pymongo.MongoClient('local',27018) #建立连接
ceshi= client['ceshi'] #创建集合
url_list= ceshi['url_list4']#创建一个叫url_list4的表单
//如果你是带用户名密码的MONGO用户,那么就需要下面的代码
'''
uri = 'mongodb://'+user+":"+pwd+"@"+ip+":"+port
client=pymongo.MongoClient(uri)
'''
到这里,你就已经成功创立了一个在ceshi集合下的名称为url_list4表单,接着你就可以操作这个表单了。
返回数据库内所有sheet名称
client.database_names()
返回sheet内所有集合名称
metal.collection_names()
插入数据以字典形式传入
url_list.insert_one({'url': url,'index': index})
插入之后又涉及到查询,当我们需要数据库内数据的时候就需要下面这个函数:
这个函数将会返回url_list内所有数据,每个数据是字典格式,返回为一个列表,记住是列表
url_list.find()
----------------------------------------------------------------------------------------------
>>> collection.find().sort("age") //默认,升序
>>> collection.find().sort("age", pymongo.ASCENDING) //升序
>>> collection.find().sort("age", pymongo.DESCENDING) //降序
>>> collection.find().count() //等同于collection.count()
这个skip=0说明会从rul_list里面的第一个数据开始查找,limit=1则说明只查找一个,所以他只会返回第一个数据,虽然只返回一个数据,但是任然是列表格式,所以这里需要加一个[0],变成列表的一个值,也就是字典,如果limit不为零则不需要加后续标号
url_list.find(skip=0, limit=1)
比如下面这个才是你真正想得到的第一个数据。
url_list.find(skip=0, limit=1)[0]
如果你不知道这个数据是第几个,但是知道其中的某一个值的数据,那么可以这么使用:
下面这个函数会返回url_list下name为1的字典
url_list.find({"name":1})
能查找数据之后接下来还有一个更新数据:
这函数会更新url_list内name为joe的元素中的age的值变成2
url_list.update({'name': joe}, {"$set": {"age": 2}})
还要注意的一点是,.replace_one()需要传入两个参数,分别为当前document和要更新为的 document ,与 .update() 相同(update和save的区别暂且略过,有兴趣可以搜索引擎一下):
collection.replace_one(old_document, new_document)
删除整个集合,是drop_collection()的别名
collection.drop()
![Uploading G1QVPE1VU1XTP_6JXVRGZM5_981334.png . . .]
插播,今天MONGODB被黑了,数据库内容全被删除,黑客留下了这组内容
大致意思就是我的数据库数据备份在他的数据库中,让我汇他0.1比特币给我数据恢复,然后下面就是他的比特币账户和邮箱。
好在我台式电脑有脚本每天开机会自动备份服务器里的数据,所以并没有造成什么损失。但是经过这件事,还是觉得给数据库加上用户名和密码还是有必要的,虽然我的数据库也只是保存自己的一些小数据,并没有什么太大商业价值。
以下内容转自:
http://www.jb51.net/article/52485.htm
首先我们得进入mongodb的交互界面,在lunux系统下输入
mongo
然后你需要创建一个自己的账户,创建之前,先进入admin用户:
use admin //切换到admin数据库
show collections; //展示用户列表
db.system.users.find(); //用户表数据
db.addUser('username','password'); //添加一个用户
//到此你的用户已经建立成功可以直接进入下一步
use admin //切换到admin数据库
db.auth('username','password'); //在admin数据库认证成功
use username; //切换到username数据库
show collections; //不会在提示没有权限了
添加好用户以后,你还需要给你的MONGO开启用户权限认证
nano /etc/mongodb.conf //将auth=true前面的注释拿掉
/etc/init.d/mongodb restart //重启生效
扩展补充
use username
//进入之前创建的管理员
db.addUser('usr','pwd',true); //为tank数据库添加了一个只读用户
db.addUser('usr','pwd'); //为tank数据库添加了一个读写用户
php客户端连接
1, 推荐方法一
$mongo = new Mongo();
$db = $mongo->selectDB('tank'); //切换到tank数据库
$db->authenticate("tank3", "test"); //认证
$users= $db->selectCollection("users"); //选取users表
$cursor = $users->find(); //读取数据
foreach ($cursor as $id => $value) {
echo "$id: "; print_r($value); echo "<br>";
}
这种方式比较好理解,根命令行下的操作过程差不多。
2,推荐方法二
$mongo = new Mongo("mongodb://tank3:test@127.0.0.1:27017/tank"); //认证用户,这里的数据库,只启认证作用
$db = $mongo->selectDB('tank'); //选取数据库
$users= $db->selectCollection("users");
$cursor = $users->find();
foreach ($cursor as $id => $value) {
echo "$id: "; print_r($value); echo "<br>";
}
未完待续..