在上手pymongo之前
pymongo是python调用MongoDB的一个driver, 那么在使用pymongo之前, 要保证你已经做到以下两点:
- 安装好mongo
- 启动mongo
安装和启动的流程网上很容易找到.
本文mongo使用默认的ip和port, 即localhost和27017, 这个课根据需要自己修改.
准备工作
导入必要的python模块, jieba是用于中文分词的module, pprint能打印出格式整洁的输出.
import pymongo
from pymongo import MongoClient # MongoClient是必须的
from pymongo import TEXT # 全文索引时会用到
import jieba # 中文分词工具,下面的例子会用到
import pprint # pretty print 工具包, 用这个打印格式更整洁
先定义两个简单的条目, 后面的插入和查找会用到. 这种定义方式就是json嘛, 很直观.
item1 = {
'name': "Burger",
'ingredients': [
"bread",
"cheese",
"tomato",
"beef"
]
}
item2 = {
'name': 'Pizza',
'ingredients': [
'cheese',
'bacon',
'flour',
'pepper'
]
}
插入一个条目
# 初始化一个client实例
client = MongoClient()
# 建立或者调用一个名为recipe的database
db = client['recipe']
# 建立或调用一个名为posts的collection
foods = db['foods']
# 把item1条目插入到foods
foods.insert_one(item1)
列出数据库db下的所用的collection的名称
db.collection_names(include_system_collections=False)
随机找出foods中的一个条目(也就是一个document)
db.foods.find_one()
插入一个新的条目, 并打印出collection中所有的document(这里collection就是foods, foods的documents就是item1和item2)
foods.insert_one(item2)
pprint.pprint([x for x in foods.find({'ingredients': 'cheese'})])
OUTPUT:
[{'_id': ObjectId('5967807e5975ae05e9b27dfe'),
'ingredients': ['bread', 'cheese', 'tomato', 'beef'],
'name': 'Burger'},
{'_id': ObjectId('5967807e5975ae05e9b27dff'),
'ingredients': ['cheese', 'bacon', 'flour', 'pepper'],
'name': 'Pizza'}]
英文全文搜索(full text search)用例
下面这段程序可以用于全文搜索, 倒数第二行代码可以得出输入语句于数据库每个条目的text_in字段的相似度分数. 对于英语mongo直接支持full text search, 不用人为分词等操作.
dialogs = db['dialogs']
d1 = {
'text_in': 'this ball and this ball are toys in the house',
'text_out': 'find thank you',
'keywords_dialog': ['ball', 'toys', 'house'],
}
d2 = {
'text_in': 'this ball is a toys in the house this is a car and a space boat computer is a hammer',
'text_out': 'i am 9',
'keywords_dialog': ['ball', 'toys', 'car'],
}
dialogs.insert_many([d1,d2])
dialogs.create_index([('text_in', TEXT)], default_language='en')
keywords = 'ball toys'
cursor = dialogs.find({'$text': {'$search':keywords}}, {'score':{'$meta':'textScore'}})
pprint.pprint([x for x in cursor])
OUTPUT:
[{'_id': ObjectId('5967807e5975ae05e9b27e01'),
'keywords_dialog': ['ball', 'toys', 'car'],
'score': 1.125,
'text_in': 'this ball is a toys in the house this is a car and a space boat '
'computer is a hammer',
'text_out': 'i am 9'},
{'_id': ObjectId('5967807e5975ae05e9b27e00'),
'keywords_dialog': ['ball', 'toys', 'house'],
'score': 1.75,
'text_in': 'this ball and this ball are toys in the house',
'text_out': 'find thank you'}]
中文全文检索
MongoDB是不支持中文的full text search的(好像付费企业版支持), 我发现如果提前分好词, 在英文模式下也是可以用的.
注意这段代码的倒数第二行cursor.sort([('score', {'$meta':'textScore'})]), 能根据搜索的相似度排序, 很方便.
dialogs = db['dialogs_zh_fulltext']
d1 = {
'text_in': '你 早上 吃 的 什么 ?',
'text_out': '我 吃 的 鸡蛋',
}
d2 = {
'text_in': '你 今天 准备 去 哪 ?',
'text_out': '我 要 回家',
}
dialogs.insert_many([d1,d2])
dialogs.create_index([('text_in', TEXT)], default_language='en')
keywords = ' '.join(jieba.lcut('你今天早上去哪了?'))
print('keywords: {}'.format(keywords))
cursor = dialogs.find({'$text': {'$search':keywords}}, {'score':{'$meta':'textScore'}})
for x in cursor.sort([('score', {'$meta':'textScore'})]):
pprint.pprint(x)
OUTPUT:
keywords: 你 今天 早上 去 哪 了 ?
{'_id': ObjectId('5967807e5975ae05e9b27e05'),
'score': 2.4,
'text_in': '你 今天 准备 去 哪 ?',
'text_out': '我 要 回家'}
{'_id': ObjectId('5967807e5975ae05e9b27e04'),
'score': 1.2,
'text_in': '你 早上 吃 的 什么 ?',
'text_out': '我 吃 的 鸡蛋'}
参考链接:
http://api.mongodb.com/python/current/tutorial.html
http://api.mongodb.com/python/current/api/pymongo/collection.html
http://www.runoob.com/mongodb/mongodb-text-search.html
