JSONL 转 FEATHER
将 JSON Lines(.jsonl)文件转换为 Feather(.feather)格式。
源文件 JSON Lines:JSONL(JSON Lines)是每行一个独立 JSON 对象的流式文本格式,无需把整个文件载入内存即可逐行解析,天然适合追加写入与断点续读。它是大语言模型训练数据(OpenAI finetune 格式)、日志管道、Elasticsearch 批量索引的标准载体。转换为 JSON 数组便于通用工具处理,转 CSV/Parquet 便于分析,转 TXT 直接抽取语料。
目标格式 Feather:Feather 是 Arrow 项目推出的轻量级列式数据格式,专为 Python/R 数据帧(pandas、Polars、Arrow)的高速读写与进程间交换设计。相比 CSV,它保留数据类型(日期、分类、嵌套结构)、零解析开销、体积更小;相比 Parquet,读写速度更快但压缩率稍低。适合数据分析中间结果缓存、Notebook 间传递大表。转换为 CSV 便于人工查看与导入传统工具,转 Parquet 适合长期存储与分布式计算。
1选择源格式文件
支持格式:.JSONL
2目标格式
.jsonl .feather
大文件或复杂格式转换可能需要 1-2 分钟,转换完成后自动下载。请勿关闭或刷新页面。