5分钟掌握Python中常见的配置文件

21ic电子网 2020-11-25 00:00

为什么要写配置文件

在开发过程中,我们常常会用到一些固定参数或者是常量。对于这些较为固定且常用到的部分,往往会将其写到一个固定文件中,避免在不同的模块代码中重复出现从而保持核心代码整洁。
这个固定文件我们可以直接写成一个  .py  文件,例如  settings.py  或  config.py ,这样的好处就是能够在同一工程下直接通过  import  来导入当中的部分;但如果我们需要在其他非 Python 的平台进行配置文件共享时,写成单个  .py  就不是一个很好的选择。这时我们就应该选择通用的配置文件类型来作为存储这些固定的部分。目前常用且流行的配置文件格式类型主要有  ini json toml yaml xml  等,这些类型的配置文件我们都可以通过标准库或第三方库来进行解析。

ini

ini  即 Initialize 初始化之意,早期是在 Windows 上配置文件的存储格式。 ini  文件的写法通俗易懂,往往比较简单,通常由节(Section)、键(key)和值(value)组成,就像以下形式:
[localdb]
host = 127.0.0.1
user = root
password = 123456
port = 3306
database = mysql
Python 本身内置的  configparser  标准库,我们直接就可以用来对  ini  文件进行解析。如我们将上述内容保存在一个名为  db.ini  的文件中,然后使用  read()  方法来进行解析和读取,最后通过  items()  方法来获取指定节点下的所有键值对。
>>> from configparser import ConfigParser
>>> cfg = ConfigParser()
>>> cfg.read("/Users/Bobot/db.ini")
['/Users/Bobot/db.ini']
>>> cfg.items("localdb")
[('host''127.0.0.1'), ('user''root'), ('password''123456'), ('port''3306'), ('database''mysql')]
需要注意的是, configparser  默认将值以字符串的形式呈现,所以这也就是为什么我们在  db.ini  文件中没有加引号而是直接将字面量写在上面的原因。
获取到键值对后,我其实直接就将其转换成字典,然后通过解包的方式进行穿参,保持代码简洁:
#!pip install pymysql
import pymysql
from configparser import ConfigParser

cfg = ConfigParser()
cfg.read("/Users/Bobot/db.ini")
db_cfg = dict(cfg.items("localdb"))

con = pymysql.connect(**db_cfg)

json

json  格式可以说是我们常见的一种文件形式了,也是目前在互联网较为流行的一种数据交换格式。除此之外, json  有时也是配置文件的一种。
比如  npm (JavaScript 包管理工具类似 Python 的  pip )、以及微软出品的目前被广泛使用的 VSCode 编辑器,都使用  json  编写配置参数。
和  configparser  一样,Python 也内置了  json  标准库,可以通过  load()  和  loads()  方法来导入文件式和字符串的  json  内容。
{
    "localdb":{
        "host""127.0.0.1",
        "user""root",
        "password""123456",
        "port"3306,
        "database""mysql"
    }
}

我们将上述内容保存为  db.json  后进行读取和解析, json  库读取 json 文件相对简单容易,而且很容易解析成 Python 的字典对象。
>>> import json
>>> from pprint import pprint
>>> 
>>> with open('/Users/Bobot/db.json'as j:
...     cfg = json.load(j)['localdb']
... 
>>> pprint(cfg)
{'database''mysql',
 'host''127.0.0.1',
 'password''123456',
 'port'3306,
 'user''root'}
使用  json  文件配置的缺点就是语法标准严格限制,为人所诟病之一的就是无法在当中写注释,除非采取  json  类型的其他超集作为替代方案(VSCode 中能写注释的  json  参数配置文件便是代替方案的一种);同时存在嵌套过深的问题,容易导致出错,不宜用来写过长或复杂的参数配置信息。

toml

toml  格式(或  tml  格式)是 Github 联合创始人 Tom Preston-Werner 所提出的一种配置文件格式。根据维基百科的资料, toml  最开始提出时是在 2013年7月份,距今已有七年时间;它在某些方面也与后面要谈到的  yaml  文件有些类似,但如果当你知道 yaml 的规范有几十页(没有错,真的就是几十页……)的时候,可能你真的就不太愿意去写那么复杂的配置文件, toml  格式则倒是个不错的选择。
toml  格式大致如下:

01-toml样式

从这里可以看出 toml 有点类似于前面所讲的 ini 文件。但是它比 ini 扩展了更多的内容。

在样例图片中我们可以看到,除了基本的字符串以外,例如时间戳、布尔值、数组等都进一步支持,而且样式和 Python 的原生写法十分类似。

当然这里不会过多介绍 toml 格式的一些规范说明,有人已经对官方的规范文档进行了翻译,有兴趣的朋友可以直接查阅。

这么契合 Python 方式的配置文件类型已经有开发者造出了相应的「轮子」,目前在 Github 上 Stars 数最多的是则 uiri/toml 的版本,不过该版本仅通过了 v0.5 版本 toml 规范,但在使用上还是蛮简洁的,我们可以通过 pip 命令进行安装

pip install toml
该库的解析方式很简单,也有点类似于  json  库的解析用法,即通过 load()  或  loads()  来进行解析;同理转换并导出也是同样类似的用法。
比如我们现在将以下内容写入到  config.toml  中:
[mysql]
host = "127.0.0.1"
user = "root"
port = 3306
database = "test"

[mysql.parameters]
pool_size = 5
charset = "utf8"

[mysql.fields]
pandas_cols = [ "id", "name", "age", "date"]

紧接着我们就可以通过 toml 库中的 load() 方法来进行读取:

>>> import toml
>>> import os
>>> from pprint import pprint
>>> cfg = toml.load(os.path.expanduser("~/Desktop/config.toml"))
>>> pprint(cfg)
{'mysql': {'database''test',
           'fields': {'pandas_cols': ['id''name''age''date']},
           'host''127.0.0.1',
           'parameters': {'charset''utf8''pool_size'5},
           'port'3306,
           'user''root'}}
可以看到  toml  文件被间接地转化成了字典类型,当然这也就是  json  版的写法(将单引号替换成双引号即可),方便我们后续调用或者传参。

yaml

yaml  格式(或  yml  格式)是目前较为流行的一种配置文件,它早在 2001 由一个名为 Clark Evans 的人提出;同时它也是目前被广泛使用的配置文件类型,典型的就是 Docker 容器里的 docker-compose.yml  配置文件,如果经常使用 Docker 进行部署的人对此不会陌生。
yaml  文件的设计从 Python、XML 等地方获取灵感,所以在使用时能很清楚地看到这些部分的影子。
在上一节  toml  内容里我曾提到, yaml  的规范内容可以说是冗长和复杂,足足有80页之多(斗尊强者,恐怖如斯……)。

02-yaml规范页数

所以感兴趣的朋友可以再自行了解相关用法。

YAML 官方早已经提供了相应的 Python 库进行支持,即 PyYAML;当然也同样需要我们事先进行安装:

pip install pyyaml
同  json  库和  toml  库一样,通过  load()  方法来进行加载。
需要注意的是,使用  load()  方法会存在一定的安全隐患,从思科 Talos 的这份报告中我们可以看到,如果加载了未知或不信任的  yaml  文件,那么有可能会存在被攻击的风险和网络安全隐患,因为它能够直接调用相应的 Python 函数来执行为攻击者所需要的命令,比如说在  yaml  文件中写入这么一段:
# 使用Linux和macOS的朋友不要轻易尝试
!!python/object/apply:os.system ["rm -rf /"]

因此最好是使用 safe_load() 来代替 load() 方法。

这和 Python 内置的 string 标准库中 Template 类的 substitute() 模板方法一样存在着同样的安全隐患,所以使用 safe_substitute() 来替代是一样的道理。

如我们现在将之前的一些配置信息写入 config.yaml 文件中:


mysql:
  host: "127.0.0.1"
  port: 3306
  user: "root"
  password: "123456"
  database: "test"

  parameter:
    pool_size: 5
    charset: "utf8"

  fields:
    pandas_cols: 
      - id
      - name
      - age
      - date

然后我们通过 safe_load() 方法进行解析:


>>> import os
>>> from pprint import pprint
>>> 
>>> with open(os.path.expanduser("~/config.yaml"), "r"as config:
...     cfg = yaml.safe_load(config)
... 
>>> pprint(cfg)
{'mysql': {'database''test',
           'fields': {'pandas_cols': ['id''name''age''date']},
           'host''127.0.0.1',
           'parameter': {'charset''utf8''pool_size'5},
           'password''123456',
           'port'3306,
           'user''root'}}

可以看到最后结果和前面的 toml 库的解析结果基本一致。

结尾

本文列举了一些主流且常见的配置文件类型及其 Python 的读取方法,可能有的读者会发现当中没有  xml  格式类型的内容。对于  xml  配置文件可能与 Java 系语言打交道的朋友遇见得会多一些,但  xml  文件的可读性实在是让人望而生畏;对  xml  文件不了解的朋友可以使用 Chrome 浏览器随便进入一个网站然后按下 F12 进入开发者后查看那密密麻麻的 html 元素便是  .xml  的缩影。
除了这些主流的配置文件类型之外,像一些  .cfg .properties  等都可以作为配置文件,甚至和开头提到的那样,你单独用一个  .py  文件来书写各类配置信息作为配置文件进行导入都是没问题,只是在跨语言共享时可能会有些障碍。因此本文就不过多介绍,感兴趣的朋友可以进一步自行了解。
在本文里列举的配置文件类型其复杂性由上到下依次增加: ini < json ≈ toml < yaml ,它们之间各有优劣,可以根据自己实际的需求和团队协作要求来具体选择。


来源:Python中文社区

21ic电子网 即时传播最新电子科技信息,汇聚业界精英精彩视点。
评论
  • 电动汽车(EV)正在改变交通运输,为传统内燃机提供更清洁、更高效的替代方案。这种转变的核心是电力电子和能源管理方面的创新,而光耦合器在其中发挥着关键作用。这些不起眼的组件可实现可靠的通信、增强安全性并优化电动汽车系统的性能,使其成为正在进行的革命中不可或缺的一部分。光耦合器,也称为光隔离器,是一种使用光传输电信号的设备。通过隔离高压和低压电路,光耦合器可确保安全性、减少干扰并保持信号完整性。这些特性对于电动汽车至关重要,因为精确控制和安全性至关重要。 光耦合器在电动汽车中的作用1.电池
    腾恩科技-彭工 2025-01-10 16:14 72浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 487浏览
  • 在不断发展的电子元件领域,继电器——作为切换电路的关键设备,正在经历前所未有的技术变革。固态继电器(SSR)和机械继电器之间的争论由来已久。然而,从未来发展的角度来看,固态继电器正逐渐占据上风。本文将从耐用性、速度和能效三个方面,全面剖析固态继电器为何更具优势,并探讨其在行业中的应用与发展趋势。1. 耐用性:经久耐用的设计机械继电器:机械继电器依靠物理触点完成电路切换。然而,随着时间的推移,这些触点因电弧、氧化和材料老化而逐渐磨损,导致其使用寿命有限。因此,它们更适合低频或对切换耐久性要求不高的
    腾恩科技-彭工 2025-01-10 16:15 97浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 496浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 462浏览
  • ARMv8-A是ARM公司为满足新需求而重新设计的一个架构,是近20年来ARM架构变动最大的一次。以下是对ARMv8-A的详细介绍: 1. 背景介绍    ARM公司最初并未涉足PC市场,其产品主要针对功耗敏感的移动设备。     随着技术的发展和市场需求的变化,ARM开始扩展到企业设备、服务器等领域,这要求其架构能够支持更大的内存和更复杂的计算任务。 2. 架构特点    ARMv8-A引入了Execution State(执行状
    丙丁先生 2025-01-12 10:30 455浏览
  • Snyk 是一家为开发人员提供安全平台的公司,致力于协助他们构建安全的应用程序,并为安全团队提供应对数字世界挑战的工具。以下为 Snyk 如何通过 CircleCI 实现其“交付”使命的案例分析。一、Snyk 的挑战随着客户对安全工具需求的不断增长,Snyk 的开发团队面临多重挑战:加速交付的需求:Snyk 的核心目标是为开发者提供更快、更可靠的安全解决方案,但他们的现有 CI/CD 工具(TravisCI)运行缓慢,无法满足快速开发和部署的要求。扩展能力不足:随着团队规模和代码库的不断扩大,S
    艾体宝IT 2025-01-10 15:52 162浏览
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 165浏览
  • 随着通信技术的迅速发展,现代通信设备需要更高效、可靠且紧凑的解决方案来应对日益复杂的系统。中国自主研发和制造的国产接口芯片,正逐渐成为通信设备(从5G基站到工业通信模块)中的重要基石。这些芯片凭借卓越性能、成本效益及灵活性,满足了现代通信基础设施的多样化需求。 1. 接口芯片在通信设备中的关键作用接口芯片作为数据交互的桥梁,是通信设备中不可或缺的核心组件。它们在设备内的各种子系统之间实现无缝数据传输,支持高速数据交换、协议转换和信号调节等功能。无论是5G基站中的数据处理,还是物联网网关
    克里雅半导体科技 2025-01-10 16:20 433浏览
  • 新年伊始,又到了对去年做总结,对今年做展望的时刻 不知道你在2024年初立的Flag都实现了吗? 2025年对自己又有什么新的期待呢? 2024年注定是不平凡的一年, 一年里我测评了50余块开发板, 写出了很多科普文章, 从一个小小的工作室成长为科工公司。 展望2025年, 中国香河英茂科工, 会继续深耕于,具身机器人、飞行器、物联网等方面的研发, 我觉得,要向未来学习未来, 未来是什么? 是掌握在孩子们生活中的发现,和精历, 把最好的技术带给孩子,
    丙丁先生 2025-01-11 11:35 447浏览
  • 随着全球向绿色能源转型的加速,对高效、可靠和环保元件的需求从未如此强烈。在这种背景下,国产固态继电器(SSR)在实现太阳能逆变器、风力涡轮机和储能系统等关键技术方面发挥着关键作用。本文探讨了绿色能源系统背景下中国固态继电器行业的前景,并强调了2025年的前景。 1.对绿色能源解决方案日益增长的需求绿色能源系统依靠先进的电源管理技术来最大限度地提高效率并最大限度地减少损失。固态继电器以其耐用性、快速开关速度和抗机械磨损而闻名,正日益成为传统机电继电器的首选。可再生能源(尤其是太阳能和风能
    克里雅半导体科技 2025-01-10 16:18 319浏览
  •   在信号处理过程中,由于信号的时域截断会导致频谱扩展泄露现象。那么导致频谱泄露发生的根本原因是什么?又该采取什么样的改善方法。本文以ADC性能指标的测试场景为例,探讨了对ADC的输出结果进行非周期截断所带来的影响及问题总结。 两个点   为了更好的分析或处理信号,实际应用时需要从频域而非时域的角度观察原信号。但物理意义上只能直接获取信号的时域信息,为了得到信号的频域信息需要利用傅里叶变换这个工具计算出原信号的频谱函数。但对于计算机来说实现这种计算需要面对两个问题: 1.
    TIAN301 2025-01-14 14:15 97浏览
  • PNT、GNSS、GPS均是卫星定位和导航相关领域中的常见缩写词,他们经常会被用到,且在很多情况下会被等同使用或替换使用。我们会把定位导航功能测试叫做PNT性能测试,也会叫做GNSS性能测试。我们会把定位导航终端叫做GNSS模块,也会叫做GPS模块。但是实际上他们之间是有一些重要的区别。伴随着技术发展与越发深入,我们有必要对这三个词汇做以清晰的区分。一、什么是GPS?GPS是Global Positioning System(全球定位系统)的缩写,它是美国建立的全球卫星定位导航系统,是GNSS概
    德思特测试测量 2025-01-13 15:42 466浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦