Pandas：为什么R的data.table比pandas要快那么多
在本文中，我们将介绍 pandas 和 R’s data.table 的比较，以及为什么 data.table 比 pandas 更快。我们将从两个方面来分析这个问题：执行时间和内存使用。
阅读更多：Pandas 教程
执行时间
在大型数据集上，data.table 显著快于 pandas。这是因为 data.table 针对大型数据集进行了高度优化，充分利用了现代 CPU 和大量内存。
下面是一个简单的例子，展示了 data.table 比 pandas 更快的原因。我们创建两个包含 1 亿个数字的数据集，并对它们进行加法运算。
在 R 中，我们使用以下代码：
library(data.table)
dt <- data.table(a = 1:1e8, b = 1:1e8)
system.time(dt[, c := a + b])
在 Python 中，我们使用以下代码：
import pandas as pd
import numpy as np
df = pd.DataFrame({'a': np.arange(1e8), 'b': np.arange(1e8)})
%timeit df['c'] = df['a'] + df['b']
结果表明，data.table 的执行时间比 pandas 快 3 倍以上。
这是因为 data.table 避免了 pandas 中的一些缺陷。例如，pandas 的 apply 函数在大型数据集上速度非常慢。另外，pandas 的索引操作比较耗时。与此相反，data.table 的索引操作非常快。
内存使用
另一个影响执行速度的因素是内存使用。Pandas 的 DataFrame 对象使用了相当多的内存。大型数据集可能无法在内存中存储，从而导致内存交换和低效的磁盘访问。
相比之下，data.table 使用了更少的内存，并且可以在内存中加载和处理非常大的数据集。这是因为 data.table 对内存管理有很好的支持。
下面是一个示例，展示了 data.table 比 pandas 更节省内存的原因。我们使用两个包含 1000 万个随机数的数据集，并计算其平均值。
在 R 中，我们使用以下代码：
library(data.table)
library(microbenchmark)
dt <- data.table(a = rnorm(1e7), b = rnorm(1e7))
microbenchmark(dt[, mean(a)], dt[, mean(b)])
print(object.size(dt))
在 Python 中，我们使用以下代码：
import pandas as pd
import numpy as np
import sys
df = pd.DataFrame({'a': np.random.randn(10000000),
'b': np.random.randn(10000000)})
print(df.memory_usage(deep=True))
print(df['a'].mean())
print(df['b'].mean())
结果表明，data.table 消耗的内存比 pandas 少很多。这是因为 data.table 数据表的“列指针”比 pandas 的“列复制”使用的内存更少。
总结
综上所述，R 的 data.table 比 pandas 更快，因为 data.table 使用了更少的内存，并充分利用了现代 CPU 和大量内存。在处理大型数据集时，使用 data.table 可以大大提高执行速度和节省内存。然而，pandas 在数据可视化和处理大型非数值类型数据方面表现更好。因此，在项目中我们需要根据具体需求来选择使用 data.table 还是 pandas。