• <sub id="xcyjv"></sub><nav id="xcyjv"><code id="xcyjv"><meter id="xcyjv"></meter></code></nav>
      <nav id="xcyjv"></nav>
    1. <form id="xcyjv"><th id="xcyjv"></th></form><nav id="xcyjv"><mark id="xcyjv"></mark></nav>

        Python拆分大型CSV文件代碼實例

         更新時間:2019年10月07日 08:36:02   作者:匹諾曹云   我要評論
        這篇文章主要介紹了Python拆分大型CSV文件代碼實例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

        這篇文章主要介紹了Python拆分大型CSV文件代碼實例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

        #!/usr/bin/env python3
        # -*- coding:utf-8 -*-
        # @FileName :Test.py
        # @Software PyCharm
        
        import os
        import pandas as pd
        
        # filename為文件路徑,file_num為拆分后的文件行數
        # 根據是否有表頭執行不同程序,默認有表頭的
        def Data_split(filename,file_num,header=True):
          if header:
            # 設置每個文件需要有的行數,初始化為1000W
            chunksize=10000
            data1=pd.read_table(filename,chunksize=chunksize,sep=',',encoding='gbk')
            # print(data1)
            # num表示總行數
            num=0
            for chunk in data1:
              num+=len(chunk)
            # print(num)
            # chunksize表示每個文件需要分配到的行數
            chunksize=round(num/file_num+1)
            # print(chunksize)
            # 分離文件名與擴展名os.path.split(filename)
            head,tail=os.path.split(filename)
            data2=pd.read_table(filename,chunksize=chunksize,sep=',',encoding='gbk')
            i=0
            for chunk in data2:
              chunk.to_csv('{0}_{1}{2}'.format(head,i,tail),header=None,index=False)
              print('保存第{0}個數據'.format(i))
              i+=1
          else:
            # 獲得每個文件需要的行數
            chunksize=10000
            data1=pd.read_table(filename,chunksize=chunksize,header=None,sep=',')
            num=0
            for chunk in data1:
              num+=len(chunk)
              chunksize=round(num/file_num+1)
        
              head,tail=os.path.split(filename)
              data2=pd.read_table(filename,chunksize=chunksize,header=None,sep=',')
              i=0
              for chunk in data2:
                chunk.to_csv('{0}_{1}{2}'.foemat(head,i,tail),header=None,index=False)
                print('保存第{0}個數據'.format(i))
                i+=1
        
        filename='文件路徑'
        #num為拆分為的文件個數
        Data_split(filename,num,header=True)

        以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。

        相關文章

        最新評論

        01彩票网app
      1. <sub id="xcyjv"></sub><nav id="xcyjv"><code id="xcyjv"><meter id="xcyjv"></meter></code></nav>
          <nav id="xcyjv"></nav>
        1. <form id="xcyjv"><th id="xcyjv"></th></form><nav id="xcyjv"><mark id="xcyjv"></mark></nav>
            曲靖 | 铜川 | 石狮 | 阜新 | 梧州 | 阿克苏 | 嘉峪关 | 安顺 | 随州 | 韶关 | 鹤岗 | 海拉尔 | 长葛 | 吕梁 | 灵宝 | 白城 | 本溪 | 新疆乌鲁木齐 | 儋州 | 十堰 | 惠东 | 淮北 | 邵阳 | 漳州 | 阳泉 | 万宁 | 瑞安 | 温岭 | 迪庆 | 那曲 | 巢湖 | 承德 | 宜昌 | 恩施 | 图木舒克 | 遂宁 | 铁岭 | 湘潭 | 台山 | 吉林 | 长兴 | 吉安 | 清徐 | 荆州 | 宜宾 | 陕西西安 | 四川成都 | 绍兴 | 黄南 | 云南昆明 | 福建福州 | 兴安盟 | 新乡 | 澳门澳门 | 绍兴 | 滁州 | 澳门澳门 | 如皋 | 红河 | 黔西南 | 武夷山 | 大庆 | 中卫 | 连云港 | 金坛 | 改则 | 保定 | 龙口 | 丽水 | 山南 | 洛阳 | 长兴 | 遂宁 | 柳州 | 江门 | 瓦房店 | 山南 | 库尔勒 | 铜川 | 百色 | 广州 | 随州 | 白沙 | 中卫 | 海东 | 贺州 | 阿勒泰 | 赣州 | 双鸭山 | 衡水 | 鄢陵 | 仁寿 | 湖北武汉 | 赵县 | 滕州 | 青海西宁 | 固原 | 巢湖 | 莱州 | 永州 | 攀枝花 | 衡阳 | 延边 | 眉山 | 甘南 | 招远 | 惠州 | 乐清 | 永康 | 义乌 | 金昌 | 河池 | 镇江 | 公主岭 | 汉中 | 哈密 | 改则 | 乐山 | 安阳 | 六安 | 淮安 | 孝感 | 宜宾 | 红河 | 南通 | 新余 | 宁波 | 和田 | 枣庄 | 赵县 | 龙岩 | 桂林 | 台北 | 海南海口 | 乌兰察布 | 三明 | 姜堰 | 石狮 | 延安 | 安顺 | 阿里 | 安阳 | 南京 | 雄安新区 | 安顺 | 烟台 | 泸州 | 铜陵 | 昌都 | 抚州 | 山南 | 舟山 | 伊犁 | 喀什 | 洛阳 | 晋江 | 衡阳 | 赣州 | 防城港 | 石狮 | 玉环 | 包头 | 德清 | 岳阳 | 白山 | 德阳 | 赤峰 | 新余 | 昆山 | 仁寿 | 怀化 | 诸城 | 招远 | 资阳 | 孝感 | 眉山 | 咸宁 | 绥化 | 三沙 | 万宁 | 江苏苏州 | 泗洪 | 桐城 | 山南 | 雄安新区 | 渭南 | 黄石 | 金华 | 朔州 | 常德 | 滨州 | 清远 | 四川成都 | 达州 | 玉林 | 晋中 | 宜昌 | 黑龙江哈尔滨 | 天水 | 北海 | 新余 | 娄底 | 营口 | 中卫 | 兴化 | 湖北武汉 | 驻马店 | 江门 | 广安 | 桐城 | 日土 | 晋城 | 漯河 | 商洛 | 贺州 | 白银 | 伊犁 | 吐鲁番 | 焦作 | 汉川 | 宣城 | 禹州 | 渭南 | 连云港 | 海西 | 慈溪 | 凉山 | 吴忠 | 菏泽 | 辽宁沈阳 | 聊城 | 仁寿 | 阿拉善盟 | 章丘 | 德阳 | 邯郸 | 图木舒克 | 恩施 | 保山 | 朔州 | 湖北武汉 | 塔城 | 南安 | 张家界 | 三沙 | 余姚 | 莱州 | 阳江 | 株洲 | 吴忠 | 铜陵 | 宿迁 | 宁波 | 洛阳 | 日喀则 | 德阳 | 和县 | 禹州 | 漯河 | 湘潭 | 澳门澳门 | 曲靖 | 武夷山 | 新疆乌鲁木齐 | 霍邱 | 楚雄 | 辽阳 | 乳山 | 库尔勒 | 赵县 | 红河 | 商洛 | 东营 | 桓台 | 武安 | 公主岭 | 江西南昌 | 阳江 | 攀枝花 | 屯昌 | 寿光 | 鹤壁 | 广汉 | 临沧 | 绵阳 | 图木舒克 | 义乌 | 来宾 | 神农架 | 昌都 | 图木舒克 | 崇左 | 阿勒泰 | 莆田 | 长葛 | 台中 | 昌吉 | 阿勒泰 | 宁国 | 台山 | 桂林 | 中山 | 丹东 | 上饶 | 临猗 | 塔城 | 招远 | 乌兰察布 | 临沂 | 晋江 | 曲靖 | 徐州 | 新余 | 日喀则 | 烟台 | 恩施 | 焦作 | 芜湖 | 商丘 | 日照 | 锦州 | 河源 | 柳州 | 长垣 | 宜昌 | 佛山 | 牡丹江 | 梧州 | 泰州 | 徐州 | 靖江 | 吉林长春 | 安岳 | 汉川 | 苍南 | 瑞安 | 阿里 | 南平 | 驻马店 | 文山 | 汕头 | 自贡 | 红河 | 长葛 | 泰兴 | 锡林郭勒 | 吴忠 | 广饶 | 永新 | 宁德 | 南平 | 盘锦 | 阳泉 | 通化 | 梧州 | 朔州 | 鞍山 | 大丰 | 内蒙古呼和浩特 | 中卫 | 眉山 | 河池 | 临沂 | 黔西南 | 禹州 | 资阳 | 赤峰 | 醴陵 | 盘锦 | 湘西 | 枣庄 | 张掖 | 荆门 | 姜堰 | 琼海 | 眉山 | 吉安 | 迁安市 | 迁安市 | 临夏 | 新乡 | 株洲 | 保定 | 邵阳 | 绥化 | 抚州 | 盐城 | 马鞍山 | 龙岩 | 溧阳 | 桐城 | 保定 | 通辽 | 黑河 | 阜新 | 锦州 | 金坛 | 益阳 | 临海 | 乐清 | 葫芦岛 | 六安 | 荣成 | 商丘 | 青州 | 嘉兴 | 廊坊 | 宜昌 | 潮州 | 徐州 | 黄南 | 嘉兴 | 潜江 | 库尔勒 | 北海 | 湖州 | 图木舒克 | 漯河 | 铜陵 | 遂宁 | 巴彦淖尔市 | 长兴 | 宜春 | 周口 | 燕郊 | 五指山 | 阜阳 | 琼海 | 定州 | 瑞安 | 张北 | 郴州 | 吐鲁番 | 日照 | 庆阳 | 吉林长春 | 无锡 | 聊城 | 靖江 | 杞县 | 日喀则 | 漳州 | 阳泉 | 齐齐哈尔 | 青州 | 山西太原 | 宿迁 | 威海 | 肇庆 | 湖州 | 江西南昌 | 赣州 | 曹县 | 张北 | 新沂 | 龙岩 | 潜江 | 乳山 | 黔西南 | 莒县 | 秦皇岛 | 新泰 | 乌兰察布 | 肥城 | 金昌 | 任丘 | 抚顺 | 景德镇 | 新余 | 本溪 | 甘肃兰州 | 湖北武汉 | 燕郊 | 眉山 | 馆陶 | 海宁 | 平顶山 | 保亭 | 桓台 | 姜堰 | 单县 | 桐城 | 无锡 | 绵阳 | 金昌 | 开封 | 厦门 | 东海 | 神农架 | 珠海 | 信阳 | 济源 | 醴陵 | 宜昌 | 南平 | 保山 | 中山 | 呼伦贝尔 | 大兴安岭 | 果洛 | 普洱 | 南阳 | 阿克苏 | 汝州 | 鹰潭 | 镇江 | 运城 | 安岳 | 宜都 | 忻州 | 海西 | 嘉峪关 | 桐城 | 清徐 | 赣州 | 天门 | 荆门 | 辽源 | 毕节 | 六盘水 | 宣城 | 山南 | 瑞安 | 澳门澳门 | 九江 | 资阳 | 安庆 | 崇左 | 阿坝 | 乌兰察布 | 湛江 | 济南 | 渭南 | 株洲 | 乌兰察布 | 商丘 | 滨州 | 漯河 | 燕郊 | 建湖 | 台中 | 亳州 | 梧州 | 德清 | 枣阳 | 铜仁 | 孝感 | 锡林郭勒 | 海西 | 石嘴山 | 南平 | 文昌 | 长葛 | 石狮 | 杞县 | 香港香港 | 平潭 | 七台河 | 伊春 | 临沂 | 承德 | 丹东 | 漯河 | 滕州 | 绍兴 | 衢州 | 仁怀 | 焦作 | 黔南 | 张掖 | 阿拉尔 | 琼中 | 林芝 | 台湾台湾 | 温州 | 日土 | 阿勒泰 | 杞县 | 普洱 | 象山 | 清徐 | 昌吉 | 象山 | 开封 | 南通 | 陕西西安 | 新泰 | 巴中 | 日土 | 燕郊 | 乳山 | 广安 | 永新 | 柳州 | 邳州 | 陕西西安 | 商洛 | 广安 | 金华 | 周口 | 益阳 | 昌吉 | 桓台 | 青州 | 马鞍山 | 馆陶 | 黑河 | 玉树 | 湘潭 | 晋江 | 南京 | 四平 | 黄南 | 衢州 | 锡林郭勒 | 包头 | 霍邱 | 厦门 | 如东 | 巴中 | 燕郊 | 大庆 | 龙口 | 清徐 | 肥城 | 池州 | 吉安 | 金坛 | 凉山 | 天长 | 庄河 | 基隆 | 安庆 | 金坛 | 温岭 | 朝阳 | 德清 | 嘉峪关 | 自贡 | 温州 | 来宾 | 乌兰察布 | 淮南 | 黔东南 | 唐山 | 枣阳 | 莱芜 | 临沂 | 贺州 | 新沂 | 黑龙江哈尔滨 | 蓬莱 | 仁怀 | 燕郊 | 七台河 | 自贡 | 溧阳 | 潍坊 | 赵县 | 玉树 | 台中 | 昆山 | 河南郑州 | 宜都 | 南通 | 宜昌 | 台湾台湾 | 蚌埠 | 大兴安岭 | 邵阳 | 百色 | 南平 | 鹤岗 | 湘潭 | 黔东南 | 凉山 | 宁波 | 黔东南 | 新疆乌鲁木齐 | 张家口 | 日喀则 | 顺德 | 海拉尔 | 昌吉 | 咸宁 | 马鞍山 | 广饶 | 海南 | 泰兴 | 桐乡 | 资阳 | 邳州 | 嘉兴 | 石狮 | 德清 | 安康 | 衢州 | 文昌 | 娄底 | 贵州贵阳 | 扬州 | 盐城 | 图木舒克 | 无锡 | 余姚 | 如皋 | 象山 | 招远 | 绍兴 | 南通 | 宁国 | 诸城 | 海南 | 喀什 | 天长 | 湖北武汉 | 三明 | 深圳 | 汉川 | 海北 | 汉川 | 昌都 | 酒泉 | 三沙 | 衡水 | 庄河 | 改则 | 崇左 | 阿拉善盟 | 湘潭 | 宜春 | 漳州 | 林芝 | 垦利 | 单县 | 中山 | 贺州 | 清远 | 宜都 | 抚州 | 宁夏银川 | 河北石家庄 | 新余 | 蚌埠 | 固原 | 海南海口 | 宜都 | 黑河 | 醴陵 | 日喀则 | 长垣 | 黑龙江哈尔滨 | 雄安新区 | 宜都 | 赣州 | 阳江 | 海拉尔 | 济南 | 公主岭 | 桂林 | 昆山 | 南充 | 兴化 | 仙桃 | 吕梁 | 德清 | 营口 | 湖南长沙 | 潜江 | 邳州 | 黄冈 | 菏泽 | 普洱 | 梧州 | 湘潭 | 白城 | 张家口 | 清徐 | 伊春 | 阿勒泰 | 雅安 | 永州 | 南通 | 潜江 | 巴彦淖尔市 | 建湖 | 海安 | 乐清 | 秦皇岛 | 甘南 | 韶关 | 运城 | 新沂 | 贵州贵阳 | 吉林 | 齐齐哈尔 | 瓦房店 | 象山 | 三亚 | 河北石家庄 | 福建福州 | 基隆 | 白城 | 玉环 | 通化 | 宜昌 | 临汾 | 石嘴山 | 图木舒克 | 山东青岛 | 曲靖 | 五指山 | 广饶 | 泉州 | 阿拉尔 | 揭阳 | 伊春 | 鹤岗 | 枣庄 | 赣州 | 万宁 | 乌兰察布 | 苍南 | 珠海 | 铜川 | 绍兴 | 阳江 | 雅安 | 宜宾 | 保定 | 温岭 | 嘉兴 | 汉中 | 新沂 | 任丘 | 马鞍山 | 莒县 | 潍坊 | 章丘 | 酒泉 | 乳山 | 商丘 | 松原 | 惠东 | 宁波 | 那曲 | 宝应县 | 钦州 | 郴州 | 襄阳 | 赣州 | 海南海口 | 许昌 | 吐鲁番 | 邵阳 | 河南郑州 | 荆州 | 姜堰 | 吴忠 | 台南 | 铁岭 | 兴安盟 | 大庆 | 通辽 | 菏泽 | 萍乡 | 南安 | 姜堰 | 如皋 | 中山 | 北海 | 那曲 | 云浮 | 黑龙江哈尔滨 | 鞍山 | 泸州 | 高雄 | 宜春 | 十堰 | 娄底 | 内蒙古呼和浩特 | 南京 | 沧州 | 庆阳 | 哈密 | 天水 | 保山 | 辽宁沈阳 | 绥化 | 塔城 | 周口 | 随州 | 雅安 | 阳泉 | 三亚 | 上饶 | 瑞安 | 伊春 | 六安 | 绵阳 | 昭通 | 白银 | 荆门 | 宿迁 | 伊犁 | 梅州 | 巴中 | 乐清 | 唐山 | 慈溪 | 阿克苏 | 锦州 | 张家口 | 葫芦岛 | 亳州 | 邹城 | 桐城 | 新乡 | 四平 | 平凉 | 雄安新区 | 嘉兴 | 陇南 | 洛阳 | 泰兴 | 朝阳 | 巴音郭楞 | 海门 | 澳门澳门 | 泉州 | 朔州 | 安康 | 赤峰 | 丽江 | 济源 | 阜阳 | 三亚 | 和田 | 镇江 | 阜新 | 松原 | 大兴安岭 | 禹州 | 诸城 | 枣阳 | 金坛 | 安庆 | 甘南 | 郴州 | 天门 | 怒江 | 济源 | 宁国 | 玉环 | 南平 | 海拉尔 | 伊犁 | 包头 | 启东 | 东莞 | 阿坝 | 信阳 | 三沙 | 定西 | 云南昆明 | 保亭 | 昭通 | 天长 | 雄安新区 | 西双版纳 | 如皋 | 温岭 | 岳阳 | 承德 | 寿光 | 内蒙古呼和浩特 | 崇左 | 图木舒克 | 大连 | 河南郑州 | 高密 | 保定 | 铜陵 | 忻州 | 衡阳 | 白城 | 淄博 | 定西 | 朝阳 | 南阳 | 潮州 | 湛江 | 黑河 | 海拉尔 | 台北 | 公主岭 | 广西南宁 | 西藏拉萨 | 金华 | 吴忠 | 邵阳 | 陵水 | 鄂州 | 广安 | 荆州 | 果洛 | 娄底 | 长治 | 运城 | 莆田 | 眉山 | 库尔勒 | 武安 | 昌吉 | 长葛 | 和县 | 启东 | 枣阳 | 滕州 | 寿光 | 鸡西 | 博罗 | 象山 | 永新 | 张家口 | 昆山 | 四川成都 | 漳州 | 保亭 | 醴陵 | 泰兴 | 茂名 | 营口 | 随州 | 温州 | 巴彦淖尔市 | 灌云 | 兴安盟 | 新泰 | 阳春 | 燕郊 | 孝感 | 吉安 | 莆田 | 焦作 | 阿克苏 | 松原 | 滨州 | 宜昌 | 辽阳 | 葫芦岛 | 四川成都 | 溧阳 | 顺德 | 阿拉善盟 | 延安 | 芜湖 | 甘孜 | 陇南 | 龙岩 | 新沂 | 宜昌 | 连云港 | 吴忠 | 池州 | 甘肃兰州 | 承德 | 信阳 | 巴中 | 灌南 | 松原 | 景德镇 | 岳阳 | 揭阳 | 十堰 | 衡阳 | 芜湖 | 六盘水 | 伊春 | 云南昆明 |