配置文件解析模块封装

一、配置文件

1. 什么是配置文件

配置文件是为程序配置参数和初始设置的文件。一般为文本文件,以ini,conf,cnf,cfg,yaml等作为后缀名。

例如mysql的配置文件my.cnf内容如下:

[mysqld]
# Only allow connections from localhost
bind-address = 0.0.0.0
mysqlx-bind-address = 127.0.0.1
default_authentication_plugin = mysql_native_password

2.配置文件的作用

通过配置文件可以使得代码中的参数根据配置文件进行动态配置,而不用直接修改代码的内部,减少风险提高代码复用。

经典应用场景

  1. 多个函数调用同一参数,这个时候最好进行配置化,改动配置文件就可以修改所有函数
  2. 某个参数需要能够动态改变

3.常见配置文件

3.1 ini/conf/cnf文件

这类配置文件由节(section),键(key),值(value)由一下格式组成。

[section1]
key1=value1
key2=value2
[section2]
key1=value1

3.2 yaml文件

3.2.1 简介

yaml文件本质上是一种标记语言,和普通的配置文件相比它能表示更为复杂的数据结构。

它的基本语法规则如下:

  • 大小写敏感
  • 使用缩进表示层级关系
  • 缩进时不允许使用Tab键,只允许使用空格。
  • 缩进的空格数目不重要,只要相同层级的元素左侧对齐即可

# 表示行注释

yaml支持三种数据结构:

  • 对象: 键值对的集合,又称为映射(mapping)/ 哈希(hashes) / 字典 (dict)
  • 数组: 一组有顺序的值,又称为序列/ 列表(List)
  • 标量:单个值
3.2.2 对象

对象的一组键值对使用冒号结构表示

name: xinlan
person: {name: xinlan, age: 18}
3.2.3 数组

一组连字符开头的行,构成一个数组

- title
- username
- password
args: [title, username, password]
3.2.4 组合结构

对象数组可以结合使用,形成组合结构

name: xinlan
age: 18
hobby: [python, 游戏, sport]
ouxiang: 
  - 
    name: 刘德华
    age: 60
  - 
    name: 任达华
    age: 65
3.2.5 标量

yaml可以表示如下数据类型如下:

  • 字符串 默认字符串不要加引号,如果有特殊字符串,用引号包裹
  • 布尔值 true,false
  • 整数
  • 浮点数
  • Null - 表示null
  • 时间 iso8601 1949-10-01t09:00:00+08:00
  • 日期 1949-10-01

二、解析配置文件

1.ConfigParser模块

python提供内置库ConfigParser用来解析ini格式的配置文件。

from configparser import ConfigParser
config = ConfigParser()  # 实例化
config.read('config.ini') # 读取配置文件
['config.ini']
config.sections()  # 返回所有的section名称字符串,一列表返回
['log', 'mysql']
config.options('mysql')  # 返回指定section下对应的配置项的所有的字符串名称,以列表返回
['host', 'database', 'user', 'password', 'port']
config.items('log') # 返回指定section下所有的配置项的键值对,二元元组
[('filename', 'py45.log'), ('debug', 'false')]
config.get('mysql', 'port')
'3306'
config.getint('mysql', 'port')  # 指定类型,帮我们转换类型
3306
config['log']['debug']
'false'
config['mysql']['host']
'127.0.0.1'

2.pyyaml模块

python解析yaml文件需要安装第三方库pyyaml

pip安装pip install pyyaml

pyyaml库的使用非常简单,它会将整个yaml配置文件内容解析成一个python字典返回。

import yaml
with open('config.yaml', 'r', encoding='utf-8') as f:
    config = yaml.load(f, Loader=yaml.FullLoader)
config
{'log': {'filename': 'py45.log', 'debug': False},
 'mysql': {'host': '127.0.0.1',
  'database': 'lemon',
  'user': 'root',
  'password': '123456',
  'port': 3306}}

3.配置文件解析模块封装

3.1 功能分析

封装前,我们先考虑一下,这个配置文件解析模块需要哪些功能?

  1. 能够处理多种配置文件
  2. 返回值数据结构一致

3.2 封装成函数

封装思路:

  1. 输入参数为配置文件名,以及配置文件字符编码
  2. 根据配置文件名获取配置文件后缀判断配置文件类型,然后分别处理
  3. ini配置文件解析后处理成字典,其实也可以不出处理,ConfigParser对象支持字典格式的取值
  4. ini配置文件解析的一个重要的问题时,不能自动识别配置类型,所以解耦不是很彻底,有时候需要在引用代码中另外处理。
  5. yaml库直接解析数据为一个字典,且自动识别数据类型,不需要做其他处理。

3.3 封装成类

封装思路:

  1. 整体思路和上面的函数封装是一致的
  2. 将解析ini文件和yaml文件的逻辑分开放到两个私有方法中
  3. 因为逻辑本身比较简单,面向对象封装和函数封装没有太多区别

4.应用到项目中

一个框架封装的彻不彻底的标准是能否复用,也即是另外一个项目来用时,不需要修改框架的源码。

在我们目前封装的框架中,耦合高的点有:

  1. 日志器调用时的传参
  2. 用例数据文件的路径
  3. 生成报告时的传参

我们可以将这些写到配置文件中,然后在框架代码中动态的获取配置文件的相对应设置,实现代码的解耦。

三、python项目配置文件的终极方案

python是一门解释型编程语言,代码不需要编译,修改后立刻可以执行。

而配置文件中的数据都会转化为python中的对象来进行操作,所以我们可以单独使用一个python文件,在其中定义配置信息。

框架中的其他核心模块,直接导入该配置模块中的配置变量直接使用,效率更高,更直观。

很多python项目都是采用这种方式进行配置化,例如django。

1. 创建配置模块

在项目根目录创建模块settings.py,在其中直接定义配置项。

# 日志配置
LOG_CONFIG = {
    'name': 'py45',
    'filename': 'logs/py.log',
    'mode': 'a',
    'encoding': 'utf-8',
    'debug': True
}

# 测试数据
TEST_DATA_FILE = 'test_data/testcases.xlsx'

# 测试用例目录
TESTCASES_DIR = os.path.join(BASE_DIR, 'testcases')

# 测试报告
REPORT_CONFIG = {
    'filename': "reports/测试报告.html",
    'desc': "一个不得不说的项目", 
    'tester': 'zlf',
    'title': '接口自动化测试报告',
    'templates': 1
}

四、项目路径处理

前面我们实现了配置化,但其中路径都是使用的项目根目录的相对路径,在调试子模块时会出现路径错误的问题。

为了解决上面的问题,我们需要在项目中使用动态创建的绝对路径。

1. 全局变量__file__

python中的每个模块中有一个特殊的变量__file__它的值永远是当前模块的绝对路径。

创建模块demo.py,在其中输入如下内容:

print(__file__)

运行后会输出当前模块的绝对路径

D:/project/classes/py38/day22/demo.py

即使在别的模块中导入这个模块时,这个值依然是这个模块的绝对路径。

所以可以利用这个属性来动态的获取项目的根目录,再通过路径拼接来获取其他需要配置路径的绝对路径。

2. os模块

路径处理涉及到不同系统的格式问题,直接使用字符串拼接太麻烦,可以使用内置模块os来进行路径的处理。

2.1 获取当前模块的路径

import os
print(os.path.abspath(__file__))
print(__file__)
D:\project\classes\py38\day22/demo.py
D:/project/classes/py38/day22/demo.py

上面的代码是在windows系统上运行的,可以看到os.path.abspath会根据系统处理路径,在windows下路径使用反斜杠表示目录

2.2 获取当前模块所在的目录

import os
print(os.path.dirname(os.path.abspath(__file__)))
D:\project\classes\py38\day22

os.path.dirname可以获取一个路径的父路径(上一层路径)

2.3 拼接路径

import os
BASE_DIR = os.path.dirname(os.path.abspath(__file__))

print(os.path.join(BASE_DIR, 'logs'))
D:\project\classes\py38\day22\logs

os.path.join可以将多个路径按照系统风格拼接起来

3. 在settings配置文件中处理路径

根据上面的知识,我们可以在配置文件中动态的生成绝对路径。

修改settings.py文件如下:

import os

BASE_DIR = os.path.dirname(os.path.abspath(__file__))

# 日志配置
LOG_CONFIG = {
    'name': 'py38',
    'filename': os.path.join(BASE_DIR, 'logs/py.log'),
    'encoding': 'utf-8',
    'debug': True
}

# 测试数据
TEST_DATA_FILE = os.path.join(BASE_DIR, 'test_data/testcases.xlsx')

# 测试用例目录
TESTCASES_DIR = os.path.join(BASE_DIR, 'testcases')

# 测试报告
REPORT_CONFIG = {
    'filename': os.path.join(BASE_DIR, "reports/测试报告.html"),
    'desc': "一个不得不说的项目", 
    'tester': 'zlf',
    'title': '接口自动化测试报告',
    'templates': 1
}
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容