查看原文
其他

一行代码让 pandas 的 apply 速度飙到极致!

The following article is from Python数据科学 Author 东哥起飞

来源:Python数据科学

作者:东哥起飞

vaex是pandas的替代工具。它利用了内存映射的原理,所以比pandas能快上几百倍,但是vaex目前功能有限,所以暂时pandas还是无法撼动的。

1. pandas提速的方法回顾

如果想要让pandas提速,笔者总结有两个方法:

1. 向量化

向量化是最优的方法,举个例子,我们将向量化定义为使用Numpy表示整个数组而不是元素的计算。下面有两个数组:

array_1 = np.array([1,2,3,4,5])
array_2 = np.array([6,7,8,9,10])

我们希望创建一个新数组,该数组是两个数组的总和,结果应该是:

result = [7,9,11,13,15]

当然,我们也可以在Python中使用for循环将这些数组求和,但这非常慢。替代的是,Numpy允许我们直接在阵列上进行操作,这要快得多,尤其是大型阵列。

result = array_1 + array_2

2. 并行化

其次是并行化。
相信大家平时对pandas使用比较多的一个功能就是apply功能,使用自带函数或者自己写个函数,可以直接对dataframe进行变换,非常香!
但由于pandas的apply只是将函数应用于dataframe的每一行,只调用当个处理器,如果行数非常多,那么将非常慢。
但如果我们利用多处理器并行化,将dataframe数据框分成多个部分,然后将每个部分都送到处理器,最后再将各个部分组合拼成回单个dataframe,这就快多了!
如何将这两个方法结合起来,对apply功能提速?

本次给大家分享一个神器 Swifter,可以自动让apply的运行速度达到最快,并且只需要一行代码!

2. Swifter介绍

Swifter是这样做的。
1. 首先,检查apply的函数是否可以向量化,如果可以,就自动使用向量化的计算(最有效果)。
2. 如果无法进行向量化,那就检查使用Dask进行并行处理或仅使用普通Pandas的apply(仅使用单个内核)哪个更合理。
并行化并不是一定要用的,因为并行处理的开销会使小型数据集的处理速度变慢,所以这个也需要根据数据集的大小情况具体分析。
来看一张图。
通过上图结果可以总结出:无论数据大小如何,使用向量化的结果几乎总是更好的,但如果无法做到向量化,那我们就退而求其次,通过并行让pandas速度最优(当数据集大小超过某个阈值的时候,红线和蓝线的交点)。
太牛掰了,使用swifter可以直接为我们自动选择最佳的方式。
3. 如何使用Swifter?
Swifter的使用非常简单。
import pandas as pd
import swifter

df.swifter.apply(lambda x: x.sum() - x.min())
我们只需要引入swifter,然后简单的一行代码调用即可,赶快试一下这个神器!

长按扫码添加“Python小助手”



▼点击成为社区会员   喜欢就点个在看吧

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存