Linux终端的乐趣之把玩字词计数

Linux 命令行有很多的乐趣，我们可以很容易并且完善地执行很多繁琐的任务。比如，我们计算一个文本文件中字和字符的出现频率，这就是我们打算在这篇文章中讲到的。

立刻来到我们脑海的命令，计算字和字符在一个文本文件中出现频率的 Linux 命令是 wc 命令。

在使用的脚本来分析文本文件之前，我们必须有一个文本文件。为了保持一致性，我们将创建一个文本文件，man命令的输出如下所述。

1. $ man man > man.txt

以上命令是将man命令的使用方式导入到man.txt文件里。

我们希望能得到最平常的单词，对之前我们新建的文件执行如下脚本。

1. $ cat man.txt | tr ‘ ‘‘\012’| tr ‘[:upper:]’‘[:lower:]’| tr –d ‘[:punct:]’| grep –v ‘[^a-z]’| sort | uniq –c | sort –rn | head

Sample Output

1. 7557
2. 262 the
3. 163 to
4. 112is
5. 112 a
6. 78 of
7. 78 manual
8. 76and
9. 64if
10. 63 be

上面的脚本，输出了最常使用的十个单词。

如何看单个的字母呢？那就用如下的命令。

1. $ echo ‘tecmint team’| fold –w1

Sample Output

1. t
2. e
3. c
4. m
5. i
6. n
7. t
8. t
9. e
10. a
11. m

注: -w1只是设定了长度

现在我们将从那个文本文件中掰下来的每一个字母，对结果进行排序，得到所需的输出频率的十个最常见的字符。

1. $ fold –w1 < man.txt | sort | uniq –c | sort –rn | head

Sample Output

1. 8579
2. 2413 e
3. 1987 a
4. 1875 t
5. 1644 i
6. 1553 n
7. 1522 o
8. 1514 s
9. 1224 r
10. 1021 l

如何区分大小写呢？之前我们都是忽略大小写的。所以，用如下命令。

1. $ fold –w1 < man.txt | sort | tr ‘[:lower:]’‘[:upper:]’| uniq –c | sort –rn | head –20

Sample Output

1. 11636
2. 2504 E
3. 2079 A
4. 2005 T
5. 1729 I
6. 1645 N
7. 1632 S
8. 1580 o
9. 1269 R
10. 1055 L
11. 836 H
12. 791 P
13. 766 D
14. 753 C
15. 725 M
16. 690 U
17. 605 F
18. 504 G
19. 352 Y
20. 344.

请检查上面的输出，标点符号居然包括在内。让我们干掉他，用tr 命令。GO:

1. $ fold –w1 < man.txt | tr ‘[:lower:]’‘[:upper:]’| sort | tr –d ‘[:punct:]’| uniq –c | sort –rn | head –20

Sample Output

1. 11636
2. 2504 E
3. 2079 A
4. 2005 T
5. 1729 I
6. 1645 N
7. 1632 S
8. 1580 O
9. 1550
10. 1269 R
11. 1055 L
12. 836 H
13. 791 P
14. 766 D
15. 753 C
16. 725 M
17. 690 U
18. 605 F
19. 504 G
20. 352 Y

现在，我们有了三个文本，那就让我们用如下命令查看结果吧。

1. $ cat *.txt | fold –w1 | tr ‘[:lower:]’‘[:upper:]’| sort | tr –d ‘[:punct:]’| uniq –c | sort –rn | head –8

Sample Output

1. 11636
2. 2504 E
3. 2079 A
4. 2005 T
5. 1729 I
6. 1645 N
7. 1632 S
8. 1580 O

下一步我们将会生成那些罕见的至少十个字母长的单词。以下是简单的脚本：

1. $ cat man.txt | tr ”‘\012’| tr ‘[:upper:]’‘[:lower:]’| tr –d ‘[:punct:]’| tr –d ‘[0-9]’| sort | uniq –c | sort –n | grep –E ‘………………’| head

Sample Output

1. 1──────────────────────────────────────────
2. 1 a all
3. 1 abc any or all arguments within are optional
4. 1 able see setlocale for precise details
5. 1 ab options delimited by cannot be used together
6. 1 achieved byusing the less environment variable
7. 1 a child process returned a nonzero exit status
8. 1 act asifthis option was supplied using the name as a filename
9. 1 activate local mode format and display local manual files
10. 1 acute accent

注: 上面的.越来越多，其实，我们可以使用.{10} 得到同样的效果。

这些简单的脚本，让我们知道最频繁出现的单词和英语中的字符。

现在结束了。下次我会在这里讲到另一个有趣的话题，你应该会喜欢读。还有别忘了向我们提供您的宝贵意见。

本文永久更新链接地址：http://www.linuxidc.com/Linux/2014-10/108477.htm