`

统计日志文件中每行大小

 
阅读更多

 

    统计日志文件中每行所占的字节数大小

    1. 生成一份日志文件

    如下:

#/bin/bash -x

#generate log,then calc line/per size
#fromat:  date|random|md5sum
#eg. 2011-11-17 10:10:20|18878|fc28cf992ab2b3b8a1f183105533eb26


FILE=`date +%Y%m%d%H%M%S`

NUM=1000000

if [ -z $1 ];then
	``>/dev/null 
else
	if [ $1 -gt "0" ];then
		NUM=$1
	fi
fi

echo "input num is:"$NUM

for ((i=0;i<$NUM;i++));
do
	num=$RANDOM
	content="`date +"%Y-%m-%d %H:%M:%S"`|"$num"|"`echo $num|md5sum|awk '{print $1}'`
	echo $content >>$HOME/tmp/$FILE
done
 

    2. 查看文件大小

    ll 

    切勿使用du -sh * 或者是ll -lht 来查看文件的大小

    3. 查看日志文件的行数

    cat $file |wc -l

    4. 计算每行所占大小

    expr 文件总大小 / 行数

 

    或者省略2,3,4步,直接计算结果为:

expr `ll |grep 20111117112511 |awk '{print $5}'` / `cat 20111117112511 |wc -l`

 

 

 

0
1
分享到:
评论

相关推荐

    大数据分析-网站日志数据文件(Hadoop部署分析资料)

    至此,我们通过Python网络爬虫手段进行数据抓取,将我们网站数据(2013-05-30,2013-05-31)保存为两个日志文件,由于文件大小超出我们一般的分析工具处理的范围,故借助Hadoop来完成本次的实践。 使用python对原始...

    云线Txt文本、网站日志分割、合并器 v2.0

    云线Txt文本、网站日志分割、合并器,字数统计工具,支持 GB...新增字数统计功能,即可统计文本文件和日志文件的常规字数,也可以把文字复制到文本框统计,并且可以任意指定要统计的字符、词组。修正分割合并乱码问题。

    shell脚本实现统计文件大小、批量创建用户的示例

    每小时执行一次脚本,当时间为0点或12点时,清空/data/logs目录下所有日志文件的内容(包括该目录下的子目录里的文件),其他时间只需统计每个文件的大小,一个文件一行,记录到以日期和时间命名的文件中 ...

    华为-3com日志解释器V2.0.rar

    本工具会自动识别您的日志文件格式,每识别出一条正确的日志,就会单独显示一行。您可以在主界里使用鼠标或者使用方向键来选择您感兴趣的日志。主界面提供复制、粘贴、删除、查找等标准的编辑功能。解释信息界面:该...

    Logger:日志库,支持日志分级别、自定义文件大小、自定义文件前后缀、打印日志到设备(终端)等功能,线程安全

    地址说明支持自定义级别,默认定义五个级别(FATAL、ERROR、WARNING、INFO、DEBUG)支持分级别记录日志,定义基准级别,基准之下的不记录,基准之上的记录(默认基准级别:INFO)支持自定义单个日志文件大小,超过该大小...

    超大文本日志查看器 btext

    开发这个小工具源于我在管理自己的apache服务器当中遇到的一个困难:在服务器长时间运行后会,生成极其庞大的日志文件[我的日志一般都会有上百M的大小.这时候要查看日志数据非常困难,打你用记事本或者是UE来打开是要等...

    Python统计日志中每个IP出现次数的方法

    本文实例讲述了Python统计日志中每个IP出现次数的方法。分享给大家供大家参考。具体如下: 这脚本可用于多种日志类型,本人测试MDaemon的all日志文件大小1.23G左右,分析用时2~3分钟 代码很简单,很适合运维人员,有不足...

    秋天下载中心统计系统V0.11

    2.支持数据库文件大小实时展示 3.支持不同种类日志统计 例如:本月,本季,本年等 3.支持按时间分组分省分文件等详细记录查看 2.支持自定下载目录,统计目录管理目录等,支持多目录设定 3.支持下载文件后缀限制 3.支持防...

    iis日志分析器 v1.0 绿色版

    亮点: 可以对搜索引擎蜘蛛来访问进行时段统计, 对大日志文件的读取进行了优化,可以读 1G以上的日志文件。 软件使用说明: 1.点击"&gt;&gt;"按钮,选择好存放日志文件的目录,程序会自动寻找(.log)文件; 2.点击"分析",如果...

    unitysizeexplorer:可视化Unity游戏中每个资产占用的空间,并快速优化游戏的文件大小

    Unity Size Explorer 快速开始 只想使用预编译的二进制文件... 通常,您可以在构建后查看Unity编辑器的日志,以查看有关游戏文件大小的一些统计信息。 看起来是这样的: Textures 33.1 mb 54.1% Meshes 0.0 kb 0

    大数据面试题(2).docx

    对每个小文件,统计每个文件中出现的词以及相应的频率(可以采用trie树/hash_map等),并取出出现频率最大的100个词(可以用含100个结点的最小堆),并把100词及相应的频率存入文件,这样又得到了5000个文件。...

    开源操作系统 应用实习报告a.doc

    一、统计日志大小 假如我们需要每小时都去执行你写的脚本。在脚本中实现这样的功能,当时间是0点和12点时,需要将目录/data/log/下的文件全部清空,注意只能清空文件内容而不能删除文件。而其他时间只需要统计一下...

    使用Awstats分析Nginx的访问日志.doc

    前言 在我的上一篇文章《使用...本文主要介绍通过让 awstats 对日志统计的结果生成静态页面,然后通过 Nginx 输出以达到统计 Nginx 访问日志的效果,其中还包括如何让 Nginx 自动切割日志文件。 配置Nginx自动切割日志

    sql2000 Log Explorer4.2(含注册码)+汉化

    操作是数据库中定义的"原子行为",每个操作都在日志文件中保存为一条记录。它可以是用户直接输入的SQL语句,比如标准的insert命令,日志文件中便会记录一条操作代码来标志这个insert操作。 事物(Transaction) ...

    PDG文件批量转换PDF

    如果转换过程中出现错误,将给出错误日志,便于定位有问题的PDG文件。 PDG文件的扫描DPI自动转存入TIFF、PNG文件,便于在转换成PDF文件时指定页面大小。 如果检查发现PDG文件是纯正的JPG文件,将不进行任何转换,...

    AWStats- 非常好用Apache,vsftp日志分析工具

    它利用一部分档案资料就能经常很快地处理大量日志档案, 它能分析日志文件来自从各大服务器工具 ,如 Apache日志档案 s (NCSA combined/XLF/ELF log format or common/CLF log format), WebStar, IIS (W3C的日志格式)...

    文件加密软件——绿盾

    安装绿盾终端用户的文件在创建、存储、应用、传输等环节中均以加密形式存在,可以杜绝黑客工具的窃取和监听。 2、文件外发方案:如有内部文件需要外发,可把这些文件发送到只解密不加密的绿盾终端(通过设置登入...

    TortoiseSVN和TortoiseMerge的中文帮助文档(chm格式)

    4.3. 在一个版本控制的文件夹下资源管理器文件菜单中的快捷方式。 4.4. 版本控制下的一个目录的右键拖拽菜单 4.5. 认证对话框 4.6. 导入对话框 4.7. 检出对话框 4.8. 提交对话框 4.9. 提交对话框的拼写检查器 4.10. ...

    coreutils-8.32.tar.gz

    使某个命令不被挂起,并将输出重定向到一个日志文件。 od 以数字方式显示指定文件的内容,默认为八进制。 paste 将字段连接在一起,在字段之间自动插入分割符,默认的分割符是 Tab 。 pathchk 检查文件名是否...

Global site tag (gtag.js) - Google Analytics