Python中JSON结构数据的高效增删改操作

本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes

1 简介

在上一期文章中我们一起学习了在Python中如何使用jsonpath库,对JSON格式数据结构进行常规的节点条件查询,可以满足日常许多的数据处理需求。

而在上一期结尾处,我提到了还有其他JSONPath功能相关的进阶Python库,在今天的文章中,我就将带大家学习更加高级的JSON数据处理方式。

2 基于jsonpath-ng的进阶JSON数据处理方法

jsonpath-ng是一个功能强大的Python库,它整合了jsonpath-rwjsonpath-rw-ext等第三方JSONPath拓展库的实用功能,使得我们可以基于JSONPath语法,实现更多操纵JSON数据的功能,而不只是查询数据而已,使用pip install jsonpath-ng进行安装:

2.1 JSON数据的增删改

jsonpath-ng中设计了一些方法,可以帮助我们实现对现有JSON数据的增删改操作,首先我们来学习jsonpath-ng中如何定义JSONPath模式,并将其运用到对数据的匹配上,依然以上篇文章的数据为例:

import json
from jsonpath_ng import parse

# 读入示例json数据
with open('json示例.json', encoding='utf-8') as j:
    demo_json = json.loads(j.read())
    
# 构造指定JSONPath模式对应的解析器
parser = parse('$..paths..steps[*].duration')

# 利用解析器的find方法找到目标数据中所有满足条件的节点
matches = parser.find(demo_json)

# 利用value属性取得对应匹配结果的值
matches[0].value

而基于上面产生的一些对象我们就可以实现对JSON数据的增删改:

2.1.1 对JSON数据进行增操作

jsonpath-ng中对JSON数据添加节点,思想是先构造对「原先不存在」的节点进行匹配的解析器对象,利用find_or_create方法处理原始JSON数据:

# 构造示例数据demo_json = {    'level1': [        {            'level2': {}        },        {            'level2': {                'level3': 12            }        }    ]}

# 构造规则解释器,所有除去最后一层节点规则外可以匹配到的节点# 都属于合法匹配结果,会在匹配结果列表中出现parser = parse('level1[*].level2.level3')

matches = parser.find_or_create(demo_json)

demo_json

find_or_create操作之后,demo_json就被修改成下面的结果:

接下来的事情就很简单了,只需要在matches结果中进行遍历,遇到value属性为{}的,就运用full_path.update_or_create()方法对原始JSON数据进行更新即可,比如这里我们填充999:

for match in matches:
    if match.value == {}:
        # 更新原始输入的JSON数据
        match.full_path.update_or_create(demo_json, 999)

demo_json

2.1.2  对JSON数据进行删操作

当我们希望对JSON数据中指定JSONPath规则的节点予以删除时,可以使用到parse对象的filter()方法传入lambda函数,在lambda函数中进行条件判断,返回的即为删除指定节点之后的输入数据。

以上一步「增」操作后得到的demo_json为例,我们来对其level1[*].level2.level3值为999的予以过滤:

parser = parse('level1[*].level2.level3')

# 过滤 level1[*].level2.level3 规则下值为 999 的节点parser.filter(lambda x: x == 999, demo_json)demo_json

可以看到结果正是我们所预期的:

2.1.3 对JSON数据进行改操作

JSON数据中的指定节点进行改操作非常的简单,只需要使用parse对象的updateupdate_or_create方法即可,使用效果的区别如下所示,轻轻松松就可以完成两种策略下的节点更新操作😋:

jsonpath-ng中还有一些丰富的功能,这里就不再赘述,感兴趣的读者朋友可以前往https://github.com/h2non/jsonpath-ng查看。


以上就是本文的全部内容,欢迎在评论区与我进行讨论~

加入知识星球【我们谈论数据科学】

400+小伙伴一起学习!





(0)

相关推荐

  • python接口自动化33-json解析神器jsonpath

    前言 做接口测试的时候,大部分情况下返回的是json数据,我们需要对返回的json断言. 当返回的数据量比较大,并且嵌套的层级很深的时候,很多小伙伴不会取值,往往在返回结果取值上浪费很多时间,于是就有 ...

  • 初识scrapy

    Scrapy是一个用于爬取web站点并提取结构化数据的应用框架,通常我们称之为爬虫,一款优秀的python爬虫. scrapy爬取的数据可被用在数据挖掘.信息处理.历史数据归档等非常广泛的数据分析和处 ...

  • httprunner学习15-运行用例命令行参数详解

    前言 HttpRunner 在命令行中启动测试时,通过指定参数,可实现丰富的测试特性控制. 命令行参数CLI 使用 -h 查看相关命令行参数 hrun -h 参数名称 参数值 参数说明 -h, -he ...

  • pdf2docx库 | 转文件格式,支持抽取文件中的表格数据

    今天在知乎看到 近几年[pdf转word]在百度指数中呈上升趋势, 由于pdf文件本身特殊性,想要百分百地将其转回word格式基本上是不可能的.我尝试着在github上搜了下,找到一个pdf2docx ...

  • 大数据安全分析05_数据采集技术

    大数据分析中的数据采集方式包括Logstash.Flume.Fluentd.Logtail等,本文对这几种数据采集技术进行简要介绍. Logstash Logstash是一个具备实时处理能力的开源的数 ...

  • python接口自动化38-jsonpath提取接口返回值

    前言 接口返回的json数据,需要取值后断言,本篇使用jsonpath来提取接口返回的数据 接口返回数据 接口返回一个 json 类型的数据,以下数据是很常见的一种数据结构 { "code& ...

  • Python Scrapy中文教程,Scrapy框架快速入门!

    谈起爬虫必然要提起 Scrapy 框架,因为它能够帮助提升爬虫的效率,从而更好地实现爬虫. Scrapy 是一个为了抓取网页数据.提取结构性数据而编写的应用框架,该框架是封装的,包含 request ...

  • Python|python中如何用list进行增删改查

    一.需要用到的代码增:append,insert删:pop,remove改:list[]查:list[]二.具体用法1.增:使用append,代码如下:names=['Gorge','lily']na ...

  • Python中Json和dict区别对比?入门分享!

    最近有人问小编说:Python开发中字典和Json的区别是什么?关于这个问题,小编通过下文为大家介绍一下. 什么是字典? 字典是一种数据结构,而json是一种数据格式就会有一些形式上的限制,比如jso ...

  • 数据表增删改操作的图文详解(phpMyAdmin的使用教程2

    数据表增删改操作的图文详解(phpMyAdmin的使用教程2) 原创2017-05-12 10:01:1604200 数据表增删改操作的图文详解(phpMyAdmin的使用教程2) 操作数据表 ...

  • (46条消息) Sqlite3小结(小型数据库中增删改查的操作)

    Sqlite3小结(小型数据库中增删改查的操作) nan_lei 2018-11-22 16:31:32 26249 收藏 122 分类专栏: Linux 文章标签: SQLite 版权声明:本文为博 ...

  • python笔记33-python3连mysql增删改查

    前言 做自动化测试的时候,注册了一个新用户,产生了多余的数据,下次用同一账号就无法注册了,这种情况该怎么办呢? 自动化测试都有个数据准备和数据清理的操作,如果因为此用例产生了多余的数据,就需要数据清理 ...

  • python测试开发django-13.操作数据库(增删改查)

    前言 django的models模块里面可以新增一张表和字段,通常页面上的数据操作都来源于数据库的增删改查,django如何对msyql数据库增删改查操作呢? 本篇详细讲解django操作mysql数 ...

  • Python No.19_文件操作(增删改查)

    # !/usr/bin/env python# -*- coding:utf-8 -*-# Author:Hugolinhj '''对文件的操作流程1.打开文件.得到文件句柄并赋值给一个变量2.通过句 ...

  • Python中字典和json有什么差异?

    正在学习或者已经学习Python的人应该都知道字典和json,那么你对它们了解多少呢?你知道字典和json区别是什么吗? 什么是字典?是一种数据结构,json是一种数据格式,格式就会有一定形式上限制, ...

  • python中的json、pickle

    json 提供了四个功能: dumps:将json数据转换为字符串 json.dumps(obj,skipkeys=False,separators=None,sort_keys=False) loa ...