感谢支持
我们一直在努力

Linux终端的乐趣之把玩字词计数

Linux 命令行有很多的乐趣,我们可以很容易并且完善地执行很多繁琐的任务。比如,我们计算一个文本文件中字和字符的出现频率,这就是我们打算在这篇文章中讲到的。

立刻来到我们脑海的命令,计算字和字符在一个文本文件中出现频率的 Linux 命令是 wc 命令。

在使用的脚本来分析文本文件之前,我们必须有一个文本文件。为了保持一致性,我们将创建一个文本文件,man命令的输出如下所述。

  1. $ man man > man.txt

以上命令是将man命令的使用方式导入到man.txt文件里。

我们希望能得到最平常的单词,对之前我们新建的文件执行如下脚本。

  1. $ cat man.txt | tr ‘ ‘‘\012’| tr ‘[:upper:]’‘[:lower:]’| tr d ‘[:punct:]’| grep v ‘[^a-z]’| sort | uniq c | sort rn | head

Sample Output

  1. 7557
  2. 262 the
  3. 163 to
  4. 112is
  5. 112 a
  6. 78 of
  7. 78 manual
  8. 76and
  9. 64if
  10. 63 be

上面的脚本,输出了最常使用的十个单词。

如何看单个的字母呢?那就用如下的命令。

  1. $ echo ‘tecmint team’| fold w1

Sample Output

  1. t
  2. e
  3. c
  4. m
  5. i
  6. n
  7. t
  8. t
  9. e
  10. a
  11. m

: -w1只是设定了长度

现在我们将从那个文本文件中掰下来的每一个字母,对结果进行排序,得到所需的输出频率的十个最常见的字符。

  1. $ fold w1 < man.txt | sort | uniq c | sort rn | head

Sample Output

  1. 8579
  2. 2413 e
  3. 1987 a
  4. 1875 t
  5. 1644 i
  6. 1553 n
  7. 1522 o
  8. 1514 s
  9. 1224 r
  10. 1021 l

如何区分大小写呢?之前我们都是忽略大小写的。所以,用如下命令。

  1. $ fold w1 < man.txt | sort | tr ‘[:lower:]’‘[:upper:]’| uniq c | sort rn | head 20

Sample Output

  1. 11636
  2. 2504 E
  3. 2079 A
  4. 2005 T
  5. 1729 I
  6. 1645 N
  7. 1632 S
  8. 1580 o
  9. 1269 R
  10. 1055 L
  11. 836 H
  12. 791 P
  13. 766 D
  14. 753 C
  15. 725 M
  16. 690 U
  17. 605 F
  18. 504 G
  19. 352 Y
  20. 344.

请检查上面的输出,标点符号居然包括在内。让我们干掉他,用tr 命令。GO:

  1. $ fold w1 < man.txt | tr ‘[:lower:]’‘[:upper:]’| sort | tr d ‘[:punct:]’| uniq c | sort rn | head 20

Sample Output

  1. 11636
  2. 2504 E
  3. 2079 A
  4. 2005 T
  5. 1729 I
  6. 1645 N
  7. 1632 S
  8. 1580 O
  9. 1550
  10. 1269 R
  11. 1055 L
  12. 836 H
  13. 791 P
  14. 766 D
  15. 753 C
  16. 725 M
  17. 690 U
  18. 605 F
  19. 504 G
  20. 352 Y

现在,我们有了三个文本,那就让我们用如下命令查看结果吧。

  1. $ cat *.txt | fold w1 | tr ‘[:lower:]’‘[:upper:]’| sort | tr d ‘[:punct:]’| uniq c | sort rn | head 8

Sample Output

  1. 11636
  2. 2504 E
  3. 2079 A
  4. 2005 T
  5. 1729 I
  6. 1645 N
  7. 1632 S
  8. 1580 O

下一步我们将会生成那些罕见的至少十个字母长的单词。以下是简单的脚本:

  1. $ cat man.txt | tr ‘\012’| tr ‘[:upper:]’‘[:lower:]’| tr d ‘[:punct:]’| tr d ‘[0-9]’| sort | uniq c | sort n | grep E ‘………………’| head

Sample Output

  1. 1──────────────────────────────────────────
  2. 1 a all
  3. 1 abc any or all arguments within are optional
  4. 1 able see setlocale for precise details
  5. 1 ab options delimited by cannot be used together
  6. 1 achieved byusing the less environment variable
  7. 1 a child process returned a nonzero exit status
  8. 1 act asifthis option was supplied using the name as a filename
  9. 1 activate local mode format and display local manual files
  10. 1 acute accent

: 上面的.越来越多,其实,我们可以使用.{10} 得到同样的效果。

这些简单的脚本,让我们知道最频繁出现的单词和英语中的字符。

现在结束了。下次我会在这里讲到另一个有趣的话题,你应该会喜欢读。还有别忘了向我们提供您的宝贵意见。

本文永久更新链接地址:http://www.linuxidc.com/Linux/2014-10/108477.htm

赞(0) 打赏
转载请注明出处:服务器评测 » Linux终端的乐趣之把玩字词计数
分享到: 更多 (0)

听说打赏我的人,都进福布斯排行榜啦!

支付宝扫一扫打赏

微信扫一扫打赏