优化方法一(JsonItemExporter):

这个是把每次的数据添加到内存中,最后统一放到磁盘中。好处是存储的数据是一个满足json规则的数据,坏处就是如果数据量比较大,比较消耗内存

优化方法二(JsonLinesItemExporte):

这个方法每次调用export_item方法的时候就把一个item存储到硬盘中。坏处是每个字典是一行,整个文件不是一个满足json格式的文件,好处是每次处理数据的时候直接存入硬盘,这样不会消耗内存