python讀取大文件越來越慢的原因與解決

 更新時間:2019年08月08日 11:19:01   作者:hank-yan   我要評論

這篇文章主要給大家介紹了關于python讀取大文件越來越慢的原因與解決方法,文中通過示例代碼介紹的非常詳細,對大家學習或者使用Python具有一定的參考學習價值,需要的朋友們下面來一起學習學習吧

背景:

今天同事寫代碼,用python讀取一個四五百兆的文件,然后做一串邏輯上很直觀的處理。結果處理了一天還沒有出來結果。問題出在哪里呢?

解決:

1. 同事打印了在不同時間點的時間,在需要的地方插入如下代碼:

print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())) 

發現一個規律,執行速度到后面時間越來越長,也就是處理速度越來越慢。

2. 為什么會越來越慢呢?

1)可能原因1,GC 的問題,有篇文章里面寫,python list append 的時候會越來越慢,解決方案是禁止GC:

使用 gc.disable()和gc.enable()

 2)改完上面,仍然不行,然后看到一篇文章里面寫,可能是因為 git 導致的,因為append 的時候 git 會不斷同步,會出問題,于是刪除 .git 文件夾,結果還是不行。

3)繼續查詢,發下一個及其有可能出問題的地方。dict 的 in dict.key(),判斷 key 是否在 dict 里面,這個的效率是非常低的。看到一篇文章比較了效率:

          ① 使用  in dict.keys() 效率:

          ② 使用 has_key()  效率:


發現 has_key() 效率比較穩定。于是修改,問題解決。

后話:

最初的時候,的確是使用 has_key(), 結果后面上傳代碼的時候,公司代碼檢查過不了,提示不能使用這個函數,只能改成 in dict.key() 這種方式,為什么公司不讓這么傳呢?經過一番百度,發現原因所在:在 python3 中,直接將 has_key() 函數給刪除了,所以禁止使用。那禁止了該怎么辦呢?原來 python 中 in 很智能,能自動判斷 key 是否在字典中存在。所以最正規的做法不是 has_key(),   更不是 in dict.keys(), 而是 in dict.  判斷 key 在 map 中,千萬別用 in dict.keys() !!!

附錄:

in、 in dict.keys()、 has_key() 方法實戰對比:

>>> a = {'name':"tom", 'age':10, 'Tel':110}
>>> a
{'age': 10, 'Tel': 110, 'name': 'tom'}
>>> print 'age' in a
True
>>> print 'age' in a.keys()
True
>>>
>>> print a.has_key("age")
True

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對腳本之家的支持。

參考資料:

https://www.douban.com/group/topic/44472300/

http://www.it1352.com/225441.html

http://www.gttraq.live/article/145424.htm

相關文章

  • python 通過麥克風錄音 生成wav文件的方法

    python 通過麥克風錄音 生成wav文件的方法

    今天小編就為大家分享一篇python 通過麥克風錄音 生成wav文件的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • 通過源碼分析Python中的切片賦值

    通過源碼分析Python中的切片賦值

    因為經常取指定索引范圍的操作,用循環十分繁瑣,因此,Python提供了切片(Slice)操作符,能大大簡化這種操作。而下面這篇文章則通過源碼給大家分析介紹了Python中切片賦值的相關資料,需要的朋友可以參考學習,下面來一起看看吧。
    2017-05-05
  • python Django 創建應用過程圖示詳解

    python Django 創建應用過程圖示詳解

    這篇文章主要介紹了python Django 創建應用過程圖示詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-07-07
  • python用plt畫圖時,cmp設置方法

    python用plt畫圖時,cmp設置方法

    今天小編就為大家分享一篇python用plt畫圖時,cmp設置方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-12-12
  • 利用python批量修改word文件名的方法示例

    利用python批量修改word文件名的方法示例

    最近因為一些失誤,導致恢復的文件名不對,所以就寫個python程序,下面這篇文章主要給大家介紹了關于利用python批量修改word文件名的相關資料,文中給出了詳細的示例代碼,需要的朋友可以參考借鑒,下面來一起看看吧。
    2017-10-10
  • python實現中文分詞FMM算法實例

    python實現中文分詞FMM算法實例

    這篇文章主要介紹了python實現中文分詞FMM算法,實例分析了Python基于FMM算法進行中文分詞的實現方法,涉及Python針對文件、字符串及正則匹配操作的相關技巧,需要的朋友可以參考下
    2015-07-07
  • Python 正則表達式(轉義問題)

    Python 正則表達式(轉義問題)

    這篇文章主要介紹了Python 正則表達式(轉義問題),需要的朋友可以參考下
    2014-12-12
  • Python中運算符

    Python中運算符"=="和"is"的詳解

    大家都知道python中有很多的運算符,今天我們就來深入的介紹is和==這兩種運算符以及他們的區別,有需要的朋友們可以參考借鑒,下面來一起看看吧。
    2016-10-10
  • python執行等待程序直到第二天零點的方法

    python執行等待程序直到第二天零點的方法

    這篇文章主要介紹了python執行等待程序直到第二天零點的方法,涉及Python等待程序的實現技巧,需要的朋友可以參考下
    2015-04-04
  • Python入門篇之數字

    Python入門篇之數字

    本文的主題是 Python 中的數字。會詳細介紹每一種數字類型,它們適用的各種運算符, 以及用于處理數字的內建函數。在文章的末尾, 簡單介紹了幾個標準庫中用于處理數字的模塊。
    2014-10-10

最新評論

福建体育彩票时时彩11