Python 中文交流

12 September 2025 11:27

这个应该是正常的内存消耗，毕竟处理这么多数据

Python 中文交流

12 September 2025 11:23

我感觉应该是的，因为内存0. 几个G慢慢增加

Python 中文交流

12 September 2025 11:22

你观察到内存增加是在终端输出什么内容的时候

Python 中文交流

12 September 2025 11:19

非常不成熟的建议，子进程里es也del一下？

Python 中文交流

12 September 2025 11:18

但是速度需要5h，我开了进程变成22min

Python 中文交流

12 September 2025 11:17

所以你得做 memory profiling 才能知道消耗在哪了，也有可能它就是需要这么多内存

Python 中文交流

12 September 2025 11:15

我现在给停止了，增加几百G不是问题。。。很离谱

Python 中文交流

12 September 2025 11:14

json.loads可以试试换成orjson.loads
估计可以快点

Python 中文交流

12 September 2025 11:11

我就好奇内存为什么一直在增加，就没有下降的趋势，我在data_process 里面del 和 gc 了

Python 中文交流

12 September 2025 11:09

df 是 800G左右 。。。 经过 group_by 之后 内存没有增加很多。所以我不太清楚 grouped_df 是多少

Python 中文交流

12 September 2025 10:15

虽然感觉还是有点不雅，可以写一个 tqdm_pop ...但一个脚本管这么多干啥

Python 中文交流

12 September 2025 10:12

当然还要记得删掉 df，因为 group_by 不是 inplace 的

Python 中文交流

12 September 2025 10:07

那就在with tqdm(total=...前加个grouped_df=[] 或者del grouped_df？

Python 中文交流

12 September 2025 10:02

tqdm应该是不会pop，只是一个，加强版指示器

Python 中文交流

08 September 2025 09:28

请问大家是如何学pytorch的，目前我只能通过大模型写程序，如果是自己写的话 很多东西都不知道

Python 中文交流

12 September 2025 11:24

不过在 futures.append(executor.submit(data_process, account_df, account_id)) 这个会增加几十G左右，具体不清楚，但是很明显

Python 中文交流

12 September 2025 11:22

也就是在"当前{}/{} 个用户"的时候增加的？

Python 中文交流

12 September 2025 11:20

数据不处理，显卡就闲着，，虽然不是我的钱吧。。

Python 中文交流

12 September 2025 11:19

我的意思是那样至少容易分析一些，比如内存增长的速率和进程数量是什么函数关系

Python 中文交流

12 September 2025 11:17

你先试试不要开进程池，或者进程池里只有一个工作进程？

Python 中文交流

12 September 2025 11:16

当时跑进程内存都到了1.7T了。。 太逆天

Python 中文交流

12 September 2025 11:14

也就是在"当前{}/{} 个用户"的时候增加的？

Python 中文交流

12 September 2025 11:12

你这个写法，会把df拆成一个个小df，分别传给最多30个子进程
那现在大概用了多少内存？
有子进程在跑了吗？

Python 中文交流

12 September 2025 11:10

grouped_df = df.groupby("account_id") 得到的不是一份“id → DataFrame”的映射，而是一个惰性迭代器，它内部存着原始 df 和分组索引信息

Python 中文交流

12 September 2025 11:07

外面这个grouped_df，大概在啥数量级？

Python 中文交流

12 September 2025 10:13

for _ in tqdm(range(len(grouped_df))):
account_id, account_df = grouped_df.pop()
...

Python 中文交流

12 September 2025 10:10

据我观察， grouped_df后面就不用了 所以我觉得删掉没什么问题

Python 中文交流

12 September 2025 10:03

那么载入的数据自然就不会被释放了呀，在 grouped_df 中还存在引用呢

Python 中文交流

08 September 2025 10:43

你就问大模型：这里面有什么，它是怎么做的，为什么这么做

Python 中文交流

06 September 2025 04:13

python编程从新手到高手 这本书 有谁买了？ 值得购买吗？