Python之fastparquet:fastparquet的简介、安装、使用方法之详细攻略
Python之fastparquet:fastparquet的简介、安装、使用方法之详细攻略
fastparquet的简介
fastparquet是parquet格式的python实现,旨在集成到基于python的大数据工作流中。并非拼花地板格式的所有部分都已实现或测试,例如,请参阅下面链接的TODO。也就是说,fastparquet能够读取parquet compatibility项目中的所有数据文件。
fastparquet的安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fastparquet
fastparquet的使用方法
1、读取
您可以指定要加载哪些列,哪些列作为类别保留(如果数据使用字典编码)。文件路径可以是单个文件、指向其他数据文件的元数据文件或包含数据文件的目录(树)。后者通常由hive/spark输出。
from fastparquet import ParquetFile
pf = ParquetFile('myfile.parq')
df = pf.to_pandas()
df2 = pf.to_pandas(['col1', 'col2'], categories=['col1'])
2、写入
默认情况下,生成一个具有单个行组(即逻辑段)且不压缩的单个输出文件。目前,只支持简单的数据类型和普通编码,因此期望性能与numpy.savez公司.
from fastparquet import write
write('outfile.parq', df)
write('outfile2.parq', df, row_group_offsets=[0, 10000, 20000],
compression='GZIP', file_scheme='hive')
赞 (0)