Django 引入全文检索

1. 全文检索

• 什么是全文检索
  　　全文检索就是针对所有内容进行动态匹配搜索的概念，针对特定的关键词进行建立索引并精确匹配达到性能优化的目的。
• 为什么引入全文检索
  　　最常见的全文检索就是我们在数据库中进行的模糊查询，但是模糊查询是针对整体内容的一个动态匹配过程，在数据量较大的情况下匹配效率极低，常规项目中数据量一般都比较多并且内容繁杂，所以正常的项目搜索功能中很少会使用模糊查询进行操作。
  　　PS：如果你开发的项目用户量较少并且项目数据较少的情况下，模糊查询是你值得操作的选项，毕竟开发成本较低。
• Python 一般用什么全文检索
  　　Python提供了各种全文检索的模块进行，最常见的如haystack模块进行全文检索整体管理操作，后台使用诸如whoosh、solr、Xapain、Elasticsearc全文搜索引擎进行操作，其中whoosh是纯python开发的全文搜索引擎，可以方便稳定的进行数据的检索操作功能，并在实际操作过程中结合jieba中文分词模块对中文进行分词操作，达到最优的操作成本，是目前项目中较为流行的一种全文检索方式。

2.安装全文检索

• 官方文档(http://django-haystack.readthedocs.io/en/v2.4.1/tutorial.html)

• 1. 安装全文检索管理模块 haystack、全文搜索引擎模块 whoosh和中文分词 jieba

      >>> pip install haystack whoosh jieba
  

• 2. Django 项目中添加 haystack 应用

      INSTALLED_APPS = [
           ......
           # 这个模块添加到所有子应用模块的前面
           'haystack',
      ]
  

• 3. 项目中添加搜索引擎配置

      #修改Django项目配置文件，添加搜索引擎配置选项[项目settings.py配置文件]
  
      # 搜索引擎配置
      HAYSTACK_CONNECTIONS = {
           ‘default’: {
                ‘ENGINE’: ‘haystack.backends.whoosh_cn_backend.WhooshEngine’,
                ‘PATH’: os.path.join(BASE_DIR, ‘whoosh_index’),
            }
      }
  
      # 自动更新加载中文分词索引支持
      HAYSTACK_SIGNAL_PROCESSOR = ‘haystack.signals.RealtimeSignalProcessor’
  

• 4. 配置全文检索路由

      #全文检索搜索过程是由haystack模块进行操作的，
      #所以搜索路由操作交给haystack进行处理，修改路由配置文件如下：
  
      urlpatterns = [
            url(r’^search/$’, include(‘haystack.urls’)),
      ]
  

• 5. 搜索管理模块

      #在应用模块下创建search_indexes.py模块文件，管理搜索的数据模型
      from haystack improt indexes
      from . import models
       
       #文章类的搜索类   
      class ArticleIndex(indexes.SearchIndex, indexes.Indexable):
           #内容搜索
           text = indexes.CharField(document=True, use_template=True)
           #根据作者搜索
           author = indexes.CharField(model_attr='user')
           #时间搜索
           pub_date = indexes.DateTimeField(model_attr='pub_date')
  
           def get_mode(self):
                return modles.Article  # 返回要搜索的数据模型
  
           def index_queryset(self, using=None):
                return self.get_mode().objects.all()
  

• 6. 搜索信息管理文件

      #在应用目录 templates/ 中创建 search/indexes/ 模型名称_text.txt 文件，编辑可搜索内容
      {{object.content}}
      {{object.user}}
      ......
  

• 7. 构建搜索结果展示

      {% if query %}
          <h3>搜索结果如下：</h3>
          {% for result in page.object_list %}
                <a href="/{{ result.object.id }}/">{{ result.object.gName }}</a><br/>
          {% empty %}
                <p>啥也没找到</p>
          {% endfor %}
  
          {% if page.has_previous or page.has_next %}
                <div>
                    {% if page.has_previous %}
                         <a href="?q={{ query }}&amp;page={{ page.previous_page_number }}">
                              &laquo; 上一页</a>
                    {% else %}
                          &laquo; 上一页
                    {% endif %}
                    |
                    {% if page.has_next %} 
                          <a href="?q={{ query }}&amp;page={{ page.next_page_number }}">
                               下一页 &raquo;</a>
                    {% else %}
                          下一页 &raquo;
                    {% endif %}
                </div>
           {% endif %}
       {% endif %}
  

• 8. 构建中文分词分析模块【改写haystack的分词模块】
     　　whoosh作为一个全文搜索引擎模块，分词功能和检索功能已经非常强大，但是针对中文的处理还是比较欠缺，所以通过Jieba模块重写分词操作，支持whoose对中文的强大操作。

  • 创建一个新的中文分词模块 ChineseAnalyzer.py 文件
    　　打开安装的whoosh模块目录，在python安装目录的site_packages/目录下找到对应的目录文件haystack/backends/，创建文件。

        import jieba
        from whoosh.analysis import Tokenizer, Token
    
        class ChineseTokenizer(Tokenizer):
              def __call__(self, value, positions=False, chars=False,keeporiginal=False, 
                               removestops=True,start_pos=0, start_char=0, mode='', **kwargs):
                     t = Token(positions, chars, removestops=removestops, mode=mode,**kwargs)
                     seglist = jieba.cut(value, cut_all=True)
                     for w in seglist:
                          t.original = t.text = w
                          t.boost = 1.0
                          if positions:
                               t.pos = start_pos + value.find(w)
                          if chars:
                               t.startchar = start_char + value.find(w)
                               t.endchar = start_char + value.find(w) + len(w)
                          yield t
             def ChineseAnalyzer():
                  return ChineseTokenizer()
    

  • 创建 whoosh_cn_backend.py 文件
    　　找到 whoosh 中文分词模块 site_packages/haystack/backends/ 目录中的分词后台处理文件 whoosh_backend.py ，复制为 whoosh_cn_backend.py ，编辑修改内部内容

        #导入创建的jieba 中文分词模块
        from .ChineseAnalyzer import ChineseAnalyzer
        ......
        # 搜索查询赋值参数
        analyzer=StemmingAnalyzer()
        # 将分析器对象更改为我们自定义的中文分词分析器
        analyzer=ChineseAnalyzer()
    

  • 9. 初始化分词索引

        #完成上述工作之后，中文分词全文检索已经完成。
        #项目中支持对Article数据对象的中文分词全文搜索功能了，接下来进行索引数据的初始化
    
        >>> python manage.py rebuild_index
    
        # 输入 y 确认，直到显示 successfully 初始化成功。
    

  • 10. 搜索

        #在需要搜索功能的网页中，添加搜索表单
        <form action=’/search/’ target=’_blank’>
        <input type=’text’ name=’q’ placeholder=’请输入关键词’/>
        <input type=’submit’ value=’搜索’/>
        </form>