您当前的位置: 首页 > 网络技术  > 服务器教程 浏览
在Linux的命令行中实现字符出现频率统计的方法
发布时间:2015-12-13    点击率:次    来源:www.sytcke.com    作者:电脑技术学习网

   Linux 命令行有很多的乐趣,我们可以很容易并且完善地执行很多繁琐的任务。比如,我们计算一个文本文件中字和字符的出现频率,这就是我们打算在这篇文章中讲到的。

  立刻来到我们脑海的命令,计算字和字符在一个文本文件中出现频率的 Linux 命令是 wc 命令。

  在使用的脚本来分析文本文件之前,我们必须有一个文本文件。为了保持一致性,我们将创建一个文本文件,man命令的输出如下所述。

  代码如下:

  $ man man > man.txt

  以上命令是将man命令的使用方式导入到man.txt文件里。

  我们希望能得到最平常的单词,对之前我们新建的文件执行如下脚本。

  代码如下:

  $ cat man.txt | tr 12 | tr [:upper:] [:lower:] | tr -d [:punct:] | grep -v [^a-z] | sort | uniq -c | sort -rn | head

  Sample Output

  代码如下:

  7557

  262 the

  163 to

  112 is

  112 a

  78 of

  78 manual

  76 and

  64 if

  63 be

  上面的脚本,输出了最常使用的十个单词。

  如何看单个的字母呢?那就用如下的命令。

  代码如下:

  $ echo tecmint team | fold -w1

Sample Output

[code] t

  e

  c

  m

  i

  n

  t

  t

  e

  a

  m

  注: -w1只是设定了长度

  现在我们将从那个文本文件中掰下来的每一个字母,对结果进行排序,得到所需的输出频率的十个最常见的字符。

  $ fold -w1 < man.txt | sort | uniq -c | sort -rn | head

  Sample Output

  代码如下:

  8579

  2413 e

  1987 a

  1875 t

  1644 i

  1553 n

  1522 o

  1514 s

  1224 r

  1021 l

  如何区分大小写呢?之前我们都是忽略大小写的。所以,用如下命令。

  $ fold -w1 < man.txt | sort | tr [:lower:] [:upper:] | uniq -c | sort -rn | head -20

  Sample Output

  代码如下:

  11636

  2504 E

  2079 A

  2005 T

  1729 I

  1645 N

  1632 S

  1580 o

  1269 R

  1055 L

  836 H

  791 P

  766 D

  753 C

  725 M

  690 U

  605 F

  504 G

  352 Y

  344 .

  请检查上面的输出,标点符号居然包括在内。让我们干掉他,用tr 命令。GO:

  代码如下:

  $ fold -w1 < man.txt | tr [:lower:] [:upper:] | sort | tr -d [:punct:] | uniq -c | sort -rn | head -20

  Sample Output

  代码如下:

  11636

  2504 E

  2079 A

  2005 T

  1729 I

  1645 N

  1632 S

  1580 O

  1550

  1269 R

  1055 L

  836 H

  791 P

  766 D

  753 C

  725 M

  690 U

  605 F

  504 G

  352 Y

  现在,我们有了三个文本,那就让我们用如下命令查看结果吧。

  代码如下:

  $ cat *.txt | fold -w1 | tr [:lower:] [:upper:] | sort | tr -d [:punct:] | uniq -c | sort -rn | head -8

  Sample Output

  代码如下:

  11636

  2504 E

  2079 A

  2005 T

  1729 I

  1645 N

  1632 S

  1580 O

  下一步我们将会生成那些罕见的至少十个字母长的单词。以下是简单的脚本:

  代码如下:

  $ cat man.txt | tr 12 | tr [:upper:] [:lower:] | tr -d [:punct:] | tr -d [0-9] | sort | uniq -c | sort -n | grep -E .................. | head

  Sample Output

  代码如下:

  1 ──────────────────────────────────────────

  1 a all

  1 abc any or all arguments within are optional

  1 able see setlocale for precise details

  1 ab options delimited by cannot be used together

  1 achieved by using the less environment variable

  1 a child process returned a nonzero exit status

  1 act as if this option was supplied using the name as a filename

  1 activate local mode format and display local manual files

  1 acute accent

  注: 上面的.越来越多,其实,我们可以使用.{10} 得到同样的效果。

  这些简单的脚本,让我们知道最频繁出现的单词和英语中的字符。

  现在结束了。下次我会在这里讲到另一个有趣的话题,你应该会喜欢读。还有别忘了向我们提供您的宝贵意见。

来源 电脑技术网 www.sytcke.com
发表留言
发表留言请先登录!
免责声明:本站发布的信息和评论纯属网民个人行为,并不代表本站立场,如发现有违法信息或侵权行为,请直接与本站管理员联系,我们将在收到您的信息后24小时内作出处理!