如何使用linux csplit来切割大量的XML文件?
发布时间:2021-01-12 13:32:35 所属栏目:Linux 来源:互联网
导读:我有一个巨大的(4GB) XML文件,我目前正在使用linux“split”函数(每25,000行 – 不是字节)分成块.这通常很有效(我最终得到了大约50个文件),除了一些数据描述有换行符,因此块文件经常没有正确的结束标记 – 而且我的解析器在处理过程中中途窒息. 示例文件:(注
我有一个巨大的(4GB) XML文件,我目前正在使用linux“split”函数(每25,000行 – 不是字节)分成块.这通常很有效(我最终得到了大约50个文件),除了一些数据描述有换行符,因此块文件经常没有正确的结束标记 – 而且我的解析器在处理过程中中途窒息. 示例文件:(注意:通常每个“列表”xml节点应该在它自己的行上) <?xml version="1.0" encoding="UTF-8"?> <listings> <listing><date>2009-09-22</date><desc>This is a description WITHOUT line breaks and works fine with split</desc><more_tags>stuff</more_tags></listing> <listing><date>2009-09-22</date><desc>This is a really annoying description field WITH line breaks that screw the split function</desc><more_tags>stuff</more_tags></listing> </listings> 然后有时我的分裂最终会像 <?xml version="1.0" encoding="UTF-8"?> <listings> <listing><date>2009-09-22</date><desc>This is a description WITHOUT line breaks and works fine with split</desc><more_tags>stuff</more_tags></listing> <listing><date>2009-09-22</date><desc>This is a really annoying description field WITH line breaks ... EOF 所以 – 我一直在阅读“csplit”,听起来它可能有助于解决这个问题.我似乎无法正确表达正确的表达…… 基本上我想要50ish文件的相同输出 就像是: *csplit -k myfile.xml '/</listing>/' 25000 {50} 任何帮助都会很棒 解决方法您无法以这种方式获得有效的XML文件.我建议您使用StaX编写一个java程序,如果您使用WoodStox实现,它将非常快速地流入和传输XML.(编辑:哈尔滨站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
相关内容
- linux – 我怎么知道MongoDB是否需要更多CPU / RAM?
- 存储 – Linux – 实际硬件RAID控制器调优(scsi和cciss)
- linux – 如何在没有运行dhcpd的情况下检查dhcpd.conf语法错
- linux – 使用bash脚本更新CRON
- osx – OS X arch命令不正确[已关闭]
- 15 Linux Split and Join Command Examples to Manage Larg
- 使用sed删除bash中的空格
- linux – 如何跟踪EC2实例或弹性IP上的公共带宽使用情况?
- 如何在Linux / Unix中将多个文件从一个扩展名重命名为另一个
- linux – cgroups隔离(分离组进程)
推荐文章
站长推荐
- linux – sysfs_create_file()和sysfs_create_gr
- regex – sed只替换最后一次匹配 – 需要匹配所有
- OpenCV在与anaconda的Linux上使用python无法正常
- 系统调用程序在linux上实际发生了什么?
- linux – 如何在bash上使用filetype将文件排序到
- linux – 从3.02将R更新为3.2
- linux – Linked无法找到符号,但读取库并存在符号
- 使用私钥将TeamCity VCS Root与GitHub存储库连接
- linux – iwconfig – 通过wifi在终端上连接网络
- linux – 使用什么语言的cPanel / WHM面板服务器
热点阅读