Python一切皆是对象,但这和内存管理有什么关系?

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS:如有需要Python学习资料的小伙伴可以点击下方链接自行获取

Python免费学习资料、代码以及交流解答点击即可加入


Python的内存管理机制

对于工程师而言,内存管理机制非常重要,是绕不过去的一环。如果你是Java工程师,面试的时候一定会问JVM。C++工程师也一定会问内存泄漏,同样我们想要深入学习Python,内存管理机制也是绕不过去的一环。

不过好在Python的内存管理机制相对来说比较简单,我们也不用特别深入其中的细节,简单做个了解即可。

Python内存管理机制的核心就是引用计数,在Python当中一切都是对象,对象通过引用来使用。

我们看到的是变量名,但是变量名指向了内存当中的一块对象。这种关系在Python当中称为引用,我们通过引用来操作对象。所以根据这点,引用计数很好理解,也就是说我们会对每一个对象进行统计所有指向它的指针的数量。如果一个对象引用计数为0,那么说明它没有任何引用指向它,也就是说它已经没有在使用了,这个时候,Python就会将这块内存收回。

简单来说引用计数原理就是这些,但我们稍微深入一点,来简单看看哪些场景会引起对象引用的变化。

引用计数的变化显然只有两种,一种是增加,一种是减少,这两种场景都只有4种情况。我们先来看下增加的情况:

首先是初始化,最简单的就是我们用赋值操作给一个变量赋值。举个例子:

这就是最简单的初始化操作,虽然123在我们来看是一个常数,但是在Python底层同样被认为是一个常数对象。n是它的一个引用。

第二种情况是引用的传递,最简单的就是我们将一个变量的值赋值给了另外一个变量。

比如我们将n赋值给m,它的本质是我们创建了一个新的引用,指向了同样一块内存。如果我们用id操作去查看m和n的id,会发现它们的id是一样的。也就是说它们并不是存储了两份相同的值,而是指向了同一份值。并不是有两个叫做王小二的人,而是王小二有两个不同的账号。

第三种情况是作为元素被存储进了容器当中,比如被存储进了list当中。

虽然我们用到了一个容器,但是容器并不会拷贝一份这些对象,还是只是存储这些对象的引用。

最后一种情况就是作为参数传给函数,在Python当中,所有的传参都是引用传递。这也是为什么,我们经常看到有人会这样写代码的原因:

我们根据上面列举的这四种引用计数增加的情况,不难推导出引用减少的情况, 其实基本上是对称的操作。

和初始化对应的操作是销毁,比如我们创建的对象被del操作给销毁了,那么同样引用计数会-1

和赋值给其他变量名的操作相反的操作是覆盖,比如之前我们的n=123,也就是n这个变量指向123,现在我们将n赋值成其他值,那么123这个对象的引用计数同样会减少。

既然元素存储在容器当中会带来引用计数,那么同样元素从容器当中移除也会减少引用计数。这个也很好理解,最简单的就是list调用remove方法移除一个元素:

最后一个对应的就是作用域,也就是当变量离开了作用域,那么它对应的内存块的引用计数同样会减少。比如我们函数调用结束,那么作为参数的这些变量对应的引用计数都会减1。

如果一个对象的引用计数减到0,也就是没有引用再指向它的时候,那么当Python进行gc的时候,这块内存就会被释放,也就是这个对象会被清除,腾出空间来。

注意一下,引用计数减到0与内存回收之间并不是立即发生的,而是有一段间隔的。根据Python的机制,内存回收只会在特定条件下执行。在占用内存比较小还有很多富裕的情况下,往往是不会执行内存回收的。因为Python在执行gc(garbage collection)的时候也会stop the world,也就是暂停其他所有的任务,所以这是影响性能的一件事情,只会在有必要的时候执行。

我们费这么大劲来介绍Python中的内存机制,除了向大家科普一下这一块内容之外,更重要的一点是为了引出我们开发的时候经常遇见的一种情况——循环引用。

循环引用

如果熟悉了Python的引用,来理解循环引用是非常容易的。说白了也很简单,就是你的一个变量引用我,我的一个变量引用你。

我们来写一段简单的代码,来看看循环引用:

如果你打个断点来看的话,会看到a和b之间的循环引用:

这里是无限展开的,因为这是一个无限循环。无限循环并不会导致程序崩溃, 也不会带来太大的问题,它的问题只有一个,就是根据前面介绍的引用计数法,a和b的引用永远不可能为0。

也就是说根据引用计数的原则,这两个变量永远不会被回收,这显然是不合理的。虽然Python当中专门建立了机制来解决引用循环的问题,但是我们并不知道它什么时候会被触发。

这个问题在Python当中非常普遍,尤其在我们实现一些数据结构的时候。举个最简单的例子就是树中的节点,就是引用循环的。因为父节点会存储所有的孩子,往往孩子节点也会存储父节点的信息。那么这就构成了引用循环。

弱引用

为了解决这个问题,Python中提供了一个叫做弱引用的概念。弱引用本质也是一种引用,但是它不会增加对象的引用计数。也就是说它不能保证它引用的对象一定不会被销毁,只要没有销毁,弱引用就可以返回预期的结果。

弱引用不用我们自己开发,这是Python当中集成的一个现成的模块weakref。

这个模块当中的方法很多,用法也很多,但是我们基本上用不到,一般来说最常用的就是ref方法。通过weakref库中的ref方法,可以返回对象的一个弱引用。我们还是来看个例子:

其实还是之前的代码,只是做了一点简单的改动。一个是我们给Test加上了name这个属性,以及str方法。另一个是我们把直接赋值改成了使用weakref。

这一次我们再打断点进来看的话,就看不到无限循环的情况了:

ref返回的是一个获取引用对象的方法,而不是对象本身。所以我们想要获取这个对象的话,需要再把它当成函数调用一下。

当然这样很麻烦,我们还有更好的办法,就是使用property注解。通过property注解,我们可以把weakref封装掉,这样在使用的时候就没有感知了。

总结

引用和循环引用都是基于Python本身的机制,如果对这块机制不了解,很容易采坑。因为可能会出现逻辑是对的,但是有一些意想不到的bug的情况。这种时候,往往很难通过review代码或者是测试发现,这也是我们学习的瓶颈所在。很容易发现代码已经写得很熟练了,但是一些进阶的代码还是看不懂或者是写不出来,本质上就是因为缺少了对于底层的了解和认知。

循环引用的问题在我们开发代码的时候还蛮常见的,尤其是涉及到树和图的数据结构的时候。由于循环引用的关系,很有可能出现被删除的树仍然占用着空间,内存不足的情况发生。这个时候使用weakref就很有必要了。

(0)

相关推荐

  • Python中的引用赋值,深拷贝,浅拷贝

    摘要:Python,引用赋值,深拷贝,浅拷贝 总结一下Python中的变量的引用赋值,深拷贝和浅拷贝,先上结论 赋值引用会直接将内存地址传递过去,此时变量间不仅值相等,内存地址也相等,是同一个对象. ...

  • Python面试的50个经典问答(上)

    Python面试的50个经典问答(上)

  • 推荐!Python十大经典面试题!

    学完Python找工作期间,肯定会涉及到各种各样的面试题,本文小编为大家总结十个Python中最常见的面试问题,希望能够帮助到你. Python的主要功能是什么? Python是一种解释型语言,与C语 ...

  • Python中可迭代对象怎么获取迭代器?

    公众号新增加了一个栏目,就是每天给大家解答一道Python常见的面试题,反正每天不贪多,一天一题,正好合适,只希望这个面试栏目,给那些正在准备面试的同学,提供一点点帮助! 小猿会从最基础的面试题开始, ...

  • Python 内存管理大揭秘

    前言 语言的内存管理是语言设计的一个重要方面.它是决定语言性能的重要因素.无论是C语言的手工管理,还是Java的垃圾回收,都成为语言最重要的特征.这里以Python语言为例子,说明一门动态类型的.面向 ...

  • 借七夕节日找对象,来谈谈牙科管理的逻辑,减轻管理压力

    牙科老板在七夕节帮单身的员工找对象,帮员工提供选择当地对象的途径,让员工自由选择,这样有利于员工的稳定,不至于为了维护两地感情而离职. 牙科老板帮助员工找对象有4点技巧,就跟做牙科管理一样,需要技巧和 ...

  • 【Python核心编程笔记】一、Python中一切皆对象

    Python中一切皆对象 本章节首先对比静态语言以及动态语言,然后介绍 python 中最底层也是面向对象最重要的几个概念-object.type和class之间的关系,以此来引出在python如何做 ...

  • python - 内置对象 之 变量

    一.变量命名规划 1.命名规则 (1)命名内容只能是字母.下划线.数字 (2)名字第1字符只能是字母或下划线 (3)区分大小写 2.私有变量 (1)_xxx "单下划线" 开始的成 ...

  • 搜罗全网!ArcGIS二次开发Python(arcpy)指南(三):三大文件对象操作

    点击上方蓝字,关注我带你飞!前言:地图文档对象.数据框对象.还有最为重要的图层对象.每种对象都有着各自的属性和方法,都有着不同的妙用... 上一章非常详细介绍了 ArcPy 模块.Python 窗口. ...

  • Python获取对象信息之内置函数dir()

    对于类对象或实例对象,可以调用内置函数dir()获取其所有可以访问的属性和方法(包括从父类中继承的属性和方法)的列表.类对象与实例对象的结果是有区别的,类对象的结果不包括实例属性. 示例: #codi ...

  • Python利用xlwings库读写excel常用操作:range对象 | o郭二爷o

    前面两节介绍xlwings操作book对象.sheet对象的一些常用操作,本节来介绍xlwings对range对象的一些操作,也是使用最频繁的操作.我们对excel读写都是基于具体的单元格区域进行的, ...

  • appium+python自动化50-生成定位对象模板templet(jinja2)

    前言 每次自己写pageobject定位元素对象太繁琐,格式都差不多,只是换个定位方法,这种就可以才有模板的方式,批量生成pageobject定位元素对象的模板 python里面生成模板有两个模块可以 ...