也想出现在这里? 联系我们

在Linux的命令行中实现字符出现频率统计的方法

作者 : 小编 本文共2078个字,预计阅读时间需要6分钟 发布时间: 2022-11-5 共1.12K人阅读
也想出现在这里? 联系我们

Linux 命令行有很多的乐趣,我们可以很容易并且完善地执行很多繁琐的任务。比如,我们计算一个文本文件中字和字符的出现频率,这就是我们打算在这篇文章中讲到的。

立刻来到我们脑海的命令,计算字和字符在一个文本文件中出现频率的 Linux 命令是 wc 命令。在使用的脚本来分析文本文件之前,我们必须有一个文本文件。为了保持一致性,我们将创建一个文本文件,man命令的输出如下所述。

复制代码

代码如下:

$ man man > man.txt

以上命令是将man命令的使用方式导入到man.txt文件里。

我们希望能得到最平常的单词,对之前我们新建的文件执行如下脚本。

复制代码

代码如下:

$ cat man.txt | tr \’ \’ \’\\012\’ | tr \'[:upper:]\’ \'[:lower:]\’ | tr -d \'[:punct:]\’ | grep -v \'[^a-z]\’ | sort | uniq -c | sort -rn | head

Sample Output

复制代码

代码如下:

7557 262 the 163 to 112 is 112 a 78 of 78 manual 76 and 64 if 63 be

上面的脚本,输出了最常使用的十个单词。

如何看单个的字母呢?那就用如下的命令。

复制代码

代码如下:

$ echo \’tecmint team\’ | fold -w1</p>
<p>Sample Output</p>
<p> [code] t e c m i n t t e a m

注: -w1只是设定了长度

现在我们将从那个文本文件中掰下来的每一个字母,对结果进行排序,得到所需的输出频率的十个最常见的字符。

$ fold -w1 < man.txt | sort | uniq -c | sort -rn | head

Sample Output

复制代码

代码如下:

8579 2413 e 1987 a 1875 t 1644 i 1553 n 1522 o 1514 s 1224 r 1021 l

如何区分大小写呢?之前我们都是忽略大小写的。所以,用如下命令。

$ fold -w1 < man.txt | sort | tr \'[:lower:]\’ \'[:upper:]\’ | uniq -c | sort -rn | head -20

Sample Output

复制代码

代码如下:

11636 2504 E 2079 A 2005 T 1729 I 1645 N 1632 S 1580 o 1269 R 1055 L 836 H 791 P 766 D 753 C 725 M 690 U 605 F 504 G 352 Y 344 .

请检查上面的输出,标点符号居然包括在内。让我们干掉他,用tr 命令。GO:

复制代码

代码如下:

$ fold -w1 < man.txt | tr \'[:lower:]\’ \'[:upper:]\’ | sort | tr -d \'[:punct:]\’ | uniq -c | sort -rn | head -20

Sample Output

复制代码

代码如下:

11636 2504 E 2079 A 2005 T 1729 I 1645 N 1632 S 1580 O 1550 1269 R 1055 L 836 H 791 P 766 D 753 C 725 M 690 U 605 F 504 G 352 Y

现在,我们有了三个文本,那就让我们用如下命令查看结果吧。

复制代码

代码如下:

$ cat *.txt | fold -w1 | tr \'[:lower:]\’ \'[:upper:]\’ | sort | tr -d \'[:punct:]\’ | uniq -c | sort -rn | head -8

Sample Output

复制代码

代码如下:

11636 2504 E 2079 A 2005 T 1729 I 1645 N 1632 S 1580 O

下一步我们将会生成那些罕见的至少十个字母长的单词。以下是简单的脚本:

复制代码

代码如下:

$ cat man.txt | tr \’\’ \’\\012\’ | tr \'[:upper:]\’ \'[:lower:]\’ | tr -d \'[:punct:]\’ | tr -d \'[0-9]\’ | sort | uniq -c | sort -n | grep -E \’………………\’ | head

Sample Output

复制代码

代码如下:

1 ────────────────────────────────────────── 1 a all 1 abc any or all arguments within are optional 1 able see setlocale for precise details 1 ab options delimited by cannot be used together 1 achieved by using the less environment variable 1 a child process returned a nonzero exit status 1 act as if this option was supplied using the name as a filename 1 activate local mode format and display local manual files 1 acute accent

注: 上面的.越来越多,其实,我们可以使用.{10} 得到同样的效果。

这些简单的脚本,让我们知道最频繁出现的单词和英语中的字符。

现在结束了。下次我会在这里讲到另一个有趣的话题,你应该会喜欢读。还有别忘了向我们提供您的宝贵意见。

1. 本站所提供的源码模板(主题/插件)等资源仅供学习交流,若使用商业用途,请购买正版授权,否则产生的一切后果将由下载用户自行承担,有部分资源为网上收集或仿制而来,若模板侵犯了您的合法权益,请来信通知我们(Email: rayer@88.com),我们会及时删除,给您带来的不便,我们深表歉意!
2. 分享目的仅供大家学习和交流,请不要用于商业用途!
3. 如果你也有好源码或者教程,可以到用户中心发布投稿,分享有金币奖励和额外收入!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务 请大家谅解!
5. 如有链接无法下载、失效或广告,请联系站长,可领回失去的金币,并额外有奖!
6. 如遇到加密压缩包,默认解压密码为"www.zyfx8.cn",如遇到无法解压的请联系管理员!
本站部分文章、资源来自互联网,版权归原作者及网站所有,如果侵犯了您的权利,请及时联系我站删除。免责声明
资源分享吧 » 在Linux的命令行中实现字符出现频率统计的方法

常见问题FAQ

免费下载或者VIP会员专享资源能否直接商用?
本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
织梦模板使用说明
你下载的织梦模板并不包括DedeCMS使用授权,根据DedeCMS授权协议,除个人非盈利站点外,均需购买DedeCMS商业使用授权。购买地址: http://www.desdev.cn/service-dedecms.html

发表评论

Copyright 2015-2020 版权所有 资源分享吧 Rights Reserved. 蜀ICP备14022927号-1
开通VIP 享更多特权,建议使用QQ登录