-
Notifications
You must be signed in to change notification settings - Fork 764
019_alpha
muyannian edited this page Sep 1, 2013
·
1 revision
1.基于replication形式的HA
1.修正部分表记录数特别少,导致计算起始时间错误的问题 (小于1000条记录,被认为了是无效分区)
2.精简solr代码-querycompent里面逻辑过于复杂-80%逻辑用不到,统统删掉。
3.增加jetty查询的并行度,原先并行太大,会报错,后去jetty官方找到报错了原因,修改机器配置后解决
4.修正adhoc日常访问统计数据丢失的问题(编码导致)
5.新扩容一台机器,因配置与当前机器配置不一样,故完善调度系统,使任务可以自定义调度,该步骤也是mdrill的ha容灾做基础
6.周二不知什么原因,云梯下载数据过慢,导致mdrill心跳超时,任务都重启,这个地方添加了兼容,周三云梯再次升级维护后, mdril没有在受到影响
7.云梯闲mdrill生成的文件数量太多(一个lucene索引占用14个文件),故将结果打包成zip文件,已经删除没用的中间计算文件。
1.修正部分表记录数特别少,导致计算起始时间错误的问题 (小于1000条记录,被认为了是无效分区)
2.精简solr代码-querycompent里面逻辑过于复杂-80%逻辑用不到,统统删掉。
3.增加jetty查询的并行度,原先并行太大,会报错,后去jetty官方找到报错了原因,修改机器配置后解决
4.修正adhoc日常访问统计数据丢失的问题(编码导致)
5.新扩容一台机器,因配置与当前机器配置不一样,故完善调度系统,使任务可以自定义调度,该步骤也是mdrill的ha容灾做基础
6.周二不知什么原因,云梯下载数据过慢,导致mdrill心跳超时,任务都重启,这个地方添加了兼容,周三云梯再次升级维护后, mdril没有在受到影响
7.云梯闲mdrill生成的文件数量太多(一个lucene索引占用14个文件),故将结果打包成zip文件,已经删除没用的中间计算文件。