Releases: qiniu/logkit
Releases · qiniu/logkit
v1.4.0
Features
- 增加了metric runner，现在你可以在网页端配置metric runner，并直接发送到pandora TSDB 监控机器的各类资源
- 增加了集群版功能，现在你可以直接通过配置master，查看整个集群的情况，包括整个前端的集群版展示，还可以通过master操控整个集群的runner。
- 增加了一些额外信息，包括IP、hostname、操作系统、内核，平台等
- 增加了部署到k8s上的功能，并增加了一个专门为logkit on k8s设计的获取pod、namespace等信息的Transformer
- 大量前端的改动，欢迎体验
Bugfixes
- 修复了添加DataSource tag只能加一条的问题
- 修复了增加额外信息带来的性能问题
v1.3.6
Features
- 增加了Socket reader，现在你可以针对 tcp\udp\unix socket协议进行端口监听，将监听到的数据作为logkit的数据源。
- 增加了syslog Parser，现在你可以直接解析符合rfc标准的syslog格式的数据
- 增加了kafka sender，现在你可以将logkit收集的数据发送到kafka，感谢 @hongdanyang1991
- 增加了 urlparam transformer，现在你可以直接使用这个Transformer转换url的参数数据
- 增加了 array expand transformer，现在你可以通过该Transformer对数组的数据进行展开
- es sender增加了可以按照周期自动创建索引的选项
- pandora sender将导出到logdb string的默认分词改为全文索引
- 使用pandora sender时自动添加发送时间
- 增加了logkit on Kubernetes的部署文件
Bugfixes
- 修复了es sender中可能存在的数据重复的bug
- 修复了创建kodo导出标志位用了logdb的错误
- 对metric runner进行了一系列修复
- 修复了发送统计的不准确的问题
v1.3.5
Features
- kafka reader 中增加zookeeper 的timeout选项
- 增加了runner的停止和运行的功能
- 去掉了logkit fault torrent选项，现在默认会开启容错，并且存储在meta文件夹下
- runner 的 status状态保存到了meta中，现在重启runner status不会清零
Bugfixes
- 修复了status记录时有概率触发的map并发读写的panic问题
- 修复了采集日志时文件夹不存在不报错但是无法创建成功的问题（web接口创建会报错，老的模式不变）
- 修复了pandora sender发送重试导致的发送错误也记录在发送错误的Status中的问题
v1.3.4
Features
- logkit 现在有了一个可爱的LOGO
- 增加了自动导出到七牛云存储的功能
- 在Mongo和SQL reader的 loop模式中增加了loop模式等待的时间，语法类似为
loop <time duration>time duration 字符串类似于 "1m"， ”3s“,"2h"
Bugfixes
- 修复了logkit自动删除自身日志文件在跨年的时候可能会删除错误的问题
- 修复了grok 表达式中含有空格会导致无效的问题，现在你写grok 表达式冒号两边可以有空格。
- 修复了grok表达式 自定义Pattern 传入单个值可能会panic的问题
- 修复kafka reader close方法没有调用consumer close的bug，会导致多个runner无法同时读取
v1.3.3
Features
- 增加了忽略不符合格式的数据选项，默认开启，关闭可以节省CPU开销
- 增强了数据校验功能
- 增加了是否自动转换时间的选项，默认开启，关闭可以节省CPU开销
- 所有数据源都加上了DataSourceTag标签
- 增加split Transformer
- 增加convert Transformer
- mongo reader 和 sql reader增加了一种loop模式，可以循环调用
Bugfixes
- 修复repo存在时Export不存在导致更新失败的问题
- 修复version编号在agent中显示不完整问题
v1.3.2
Features
- 增加transformer的功能支持, 可以自定义的针对字段做转化操作
- 原配置文件的修改方式改为按添加步骤进行修改
- 增加页脚的帮助链接
- logkit 加上runner创建时间，并在页面显示
- 增加了针对时间字段解析和变换的Transformer，用来处理用户时间字段相关问题
- 增加了丢弃某个字段的Transformer
- logkit发送的请求增加了user_agent header，便于统计
- 增加了数据中植入来源IP的功能
- 增加了数据强制类型转换的功能，解决弱类型的问题，开启此功能后，一个指定为string类型的数据，实际为long的情况下，会被转换类型，反之亦然，转换错误则跟原来一样处理。
Bugfixes
- 数据第一次发送前没有meta文件不再报错
- schemafree 创建repo失败会显示报错，而不是显示没有repo 404
- 对于解析失败的数据，展示部分原始数据方便排查错误原因
- 修复了允许Runner name为空的情况
- 修复了repo在界面上被删除，logkit选择了schemafree但不会重新创建的问题
- 修复了pandora sender array类型在某些情况下类型推导错误无法打点的问题
v1.3.1
Features
- 增加了reader相关的数据信息以及错误
- web页面用户体验改善，现在你填写配置更方便
- 增加了修改runner配置的功能，现在你可以通过修改配置文件，而不是删除再重建的方式修改。
- 增加了重置logkit功能，现在你可以在页面通过重置删除meta信息，不需要手动删除
- 在web页面增加了版本号
Bugfixes
- 修复了web页面前后端交互的错误
- 修复了速率显示的错误
- 修复了repo允许下划线开头，而logdb不允许下划线开头的错误
v1.3.0
Features
- logkit web页面大改版，修改了实现技术，增加了大量体验优化
- logkit web 页面增加了简单字段校验
- 增加页面stats信息，现在你可以在web页面看到发送/解析成功了多少数据，同时显示错误信息
- 大大提升打点性能，整体节省50% 以上 cpu消耗
Bugfixes
- 修复memory queue重启丢数据问题
- fault_tolerant 策略下强制需要填磁盘保存位置
- 更新了pandora-go-sdk，修复了相关bug，包括性能提升、鉴权错误描述
v1.2.4
Features
- 增加 transformer模块，第一个transformer是ip变化
- 增加transformer：字符串替换
- 增加rest api文档
- 增加jsonstring的相关支持
Bugfixes
- 修复没有配置文件 confs 会导致crash的问题
- 修复logkit的一些并发问题，增加race测试
- 修复 rateio 关闭时会导致卡住的bug
- 修复mysql reader 读取[]byte转string时json会自动base64的bug_
v1.2.3
Bugfixes
- 修复mysql reader在没有Offset的情况下重复读取
Features
- 增加页面配置logkit的功能