Python文本統計功能之西游記用字統計操作示例

 更新時間:2018年05月07日 10:23:47   作者:開心果汁   我要評論
這篇文章主要介紹了Python文本統計功能之西游記用字統計操作,結合實例形式分析了Python文本讀取、遍歷、統計等相關操作技巧,需要的朋友可以參考下

本文實例講述了Python文本統計功能之西游記用字統計操作。分享給大家供大家參考,具體如下:

一、數據

xyj.txt,《西游記》的文本,2.2MB

致敬吳承恩大師,4020行(段)

二、目標

統計《西游記》中:

1. 共出現了多少個不同的漢字;
2. 每個漢字出現了多少次;
3. 出現得最頻繁的漢字有哪些。

三、涉及內容:

1. 讀文件;
2. 字典的使用;
3. 字典的排序;
4. 寫文件

四、效果

五、源代碼

# coding:utf8
import sys
reload(sys)
sys.setdefaultencoding("utf8")
fr = open('xyj.txt', 'r')
characters = []
stat = {}
for line in fr:
  # 去掉每一行兩邊的空白
  line = line.strip()
  # 如果為空行則跳過該輪循環
  if len(line) == 0:
    continue
  # 將文本轉為unicode,便于處理漢字
  line = unicode(line)
  # 遍歷該行的每一個字
  for x in xrange(0, len(line)):
    # 去掉標點符號和空白符
    if line[x] in [' ','', '\t', '\n', '。', ',', '(', ')', '(', ')', ':', '□', '?', '!', '《', '》', '、', ';', '“', '”', '……']:
      continue
    # 尚未記錄在characters中
    if not line[x] in characters:
      characters.append(line[x])
    # 尚未記錄在stat中
    if not stat.has_key(line[x]):
      stat[line[x]] = 0
    # 漢字出現次數加1
    stat[line[x]] += 1
print len(characters)
print len(stat)
# lambda生成一個臨時函數
# d表示字典的每一對鍵值對,d[0]為key,d[1]為value
# reverse為True表示降序排序
stat = sorted(stat.items(), key=lambda d:d[1], reverse=True)
fw = open('result.csv', 'w')
for item in stat:
  # 進行字符串拼接之前,需要將int轉為str
  fw.write(item[0] + ',' + str(item[1]) + '\n')
fr.close()
fw.close()

PS:這里再為大家推薦2款非常方便的統計工具供大家參考:

在線字數統計工具:
http://tools.jb51.net/code/zishutongji

在線字符統計與編輯工具:
http://tools.jb51.net/code/char_tongji

更多關于Python相關內容感興趣的讀者可查看本站專題:《Python文件與目錄操作技巧匯總》、《Python文本文件操作技巧匯總》、《Python數據結構與算法教程》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》及《Python入門與進階經典教程

希望本文所述對大家Python程序設計有所幫助。

相關文章

  • pandas全表查詢定位某個值所在行列的方法

    pandas全表查詢定位某個值所在行列的方法

    下面小編就為大家分享一篇pandas全表查詢定位某個值所在行列的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-04-04
  • Python3中使用PyMongo的方法詳解

    Python3中使用PyMongo的方法詳解

    平常在處理數據的時候,必不可少地要使用數據庫存取數據,出于一些原因,個人非常喜歡MongoDB這個數據庫。下面這篇文章主要給大家介紹了Python3中使用PyMongo的方法示例,文中介紹的非常詳細,需要的朋友可以參考借鑒,下面來一起看看吧。
    2017-07-07
  • 利用selenium爬蟲抓取數據的基礎教程

    利用selenium爬蟲抓取數據的基礎教程

    這篇文章主要給大家介紹了關于如何利用selenium爬蟲抓取數據的相關資料,文中通過示例代碼介紹的非常詳細,對大家學習或者使用selenium具有一定的參考學習價值,需要的朋友們下面來一起學習學習吧
    2019-06-06
  • Python cookbook(數據結構與算法)保存最后N個元素的方法

    Python cookbook(數據結構與算法)保存最后N個元素的方法

    這篇文章主要介紹了Python數據結構與算法 保存最后N個元素的方法,涉及Python基于迭代器與生成器實現歷史記錄功能的相關操作技巧,需要的朋友可以參考下
    2018-02-02
  • python中字典按鍵或鍵值排序的實現代碼

    python中字典按鍵或鍵值排序的實現代碼

    這篇文章主要介紹了python中字典按鍵或鍵值排序的實現代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2019-08-08
  • Python生成數字圖片代碼分享

    Python生成數字圖片代碼分享

    這篇文章主要介紹了Python生成數字圖片代碼分享,具有一定參考價值,需要的朋友可以了解下。
    2017-10-10
  • django-rest-framework 自定義swagger過程詳解

    django-rest-framework 自定義swagger過程詳解

    這篇文章主要介紹了django-rest-framework 自定義swagger過程詳解,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2019-07-07
  • python構建深度神經網絡(DNN)

    python構建深度神經網絡(DNN)

    這篇文章主要為大家詳細介紹了python構建深度神經網絡DNN,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-03-03
  • Python多進程原理與用法分析

    Python多進程原理與用法分析

    這篇文章主要介紹了Python多進程原理與用法,結合實例形式分析了Python多進程原理、開啟使用進程、進程隊列、進程池等相關概念與使用方法,需要的朋友可以參考下
    2018-08-08
  • 使用python將時間轉換為指定的格式方法

    使用python將時間轉換為指定的格式方法

    今天小編就為大家分享一篇使用python將時間轉換為指定的格式方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-11-11

最新評論

码报108