open_server for sensorsdata
感谢神策公司开源了他们的SDK，让用不起神策服务端的中小微企业也可以使用大数据带来的便利。
ghost_sa（鬼策）的结构设计主要考虑方便技术资源不足的中小微企业使用，部署测试快速，并支持复杂数据字段上报（神策原版不支持），所以在长时间段，多字段扫描的场景，性能不如神策原版。需要完整的神策，请购买神策官方授权，他们的程序很给力。https://www.sensorsdata.cn/
ghost_sa(鬼策)可以理解为不带前端界面的神策服务端。 主要功能有
1.接收 神策SDK 上报的数据
2.实现神策上的短链创建与解析功能
3.移动端广告监测功能（支持追溯移动端广告来源，支持信息流和积分墙两种模式）。
4.移动端激活回调
5.站外阅读监测支持（也可用于邮件打开监测）
6.根据用户行为，触发动作
7.定时任务
8.用户分群
9.召回信息发送
使用了flask框架，可以通过uwsgi部署。数据库建议使用TiDB，实测1天200万事件量，单次查询当天事件在10毫秒左右，查询1个月范围的数据，返回在30-60秒左右。 实际使用在TiDB最低的配置3x8c_32g的情况下，每天可以支持500万的事件量。 如果只是体验和测试功能，也可以用MySQL 5.7（含）以上的版本，不过性能很差。
支持使用Kafka。
目前经过测试，支持IOS，Android，JS，小程序，Python的SDK上报。 SDK可以在神策的项目中下载 https://github.com/sensorsdata SDK的使用方法，可以直接查看神策官方文档 https://www.sensorsdata.cn/manual/
/flask_main.py <--主程序，执行后即可开始接收数据
/kafka_consumer.py <--Kafka订阅程序（如果开启Kafka支持，使用此程序订阅并写入数据库）
/scheduler.py <--定时器程序，用来定时触发进行用户分群等任务
/trigger.py <--触发器订阅程序（如果配置了非独立触发器，则在写入埋点时同步触发，无需运行触发器。独立触发器不受插库性能影响，响应速度更快。而且独立增删触发器的时候，不用担心入库数据中断。）
/configs <--配置，包括查询密码，数据库密码，第三方依赖的密码都在这里配置
/component <--主要组件，运行程序所需要的主要组件都在这里
/component/messenger.py <--消息自动发送程序（发送消息列表里符合时间要求且标记为自动的消息）
/scheduler_jobs <--用户分群与自动召回的相关组件
/scheduler_jobs/scheduler_job_creator.py <--自动分群任务创建程序和自动召回模板创建程序
/geoip <--IP和ASN识别组件，下载的mmdb需要放在这里
/image <--需要返回的1像素图片所在处。当然，不嫌流量贵，也可以换成其他图片哈
/tools <--迁移工具，包括实时同步神策的数据和迁移历史数据进入鬼策
/logs <--日志，目前只会记录错误日志，按天分
/data_export <--迁移用数据，存放神策历史数据，用于导入鬼策。导入完后，可删除
/trigger_jobs <--动作触发器所触发的动作。
安装之前需要先准备好数据库，测试功能可以用mysql5.7。
！！！正式环境建议使用tidb或其他newsql。
1.打开/geoip/geo.py 文件，根据文件里的地址，下载ipcity和ipasn文件，并放到/geoip目录下。
2.配置/configs/db.py 里的数据库连接参数。
3.打开/configs/admin.py 修改查询密码和Kafka支持（默认关闭，直接写入数据）。如果开启Kafka支持，需要配置/configs/kafka.py和运行/kafka_consumer.py来订阅数据。
4.打开/component/setup.py 在最后一行修改自己想要创建的项目名。运行setup.py程序，会完成数据表创建，鬼策服务端初始化完成。
5.运行/flask_main.py 可以开始接收数据了。
wiki https://github.com/white-shiro-bai/ghost_sa/wiki
讨论组 https://github.com/white-shiro-bai/ghost_sa/discussions
国内用户可以加我微信 Ben_Xiaobai ，加入鬼策微信群
也可以通过视频，了解鬼策。这里有一个以鬼策为基础的视频分析课（还在佛系更新）
https://space.bilibili.com/920446/channel/detail?cid=124583
1.鬼策老用户如需升级2020年12月28日及以后的版本，须文件覆盖后，运行/tools/update_20201015.py程序升级数据表。该操作不可逆，但升级后的数据表与老版本鬼策兼容。但程序与老版本鬼策不兼容，需要完整覆盖安装目录才能继续运行。建议新老版本分开两个目录放置。clone新目录->升级->运行新目录的程序即可。
2.由于TiDB v4的新特性，鬼策缩短了一些之前预留较长的字段，以提高兼容性，mysql版本也不需要额外使用安装程序，统一使用/component/setup.py安装即可。缩短后我已经在生产环境使用超过半个月，尚无不良影响。如果您的应用环境特殊，请谨慎升级TiDB到v4及以后版本，并自行修改建表程序中的字段长度。如果您的鬼策是在TiDB v3环境下安装的，那么升级到TiDB v4后，字段长度不会改变，依然有效。
2020年12月<-用户分群及召回功能（功能完整，文档还没写完）
2021年01月<-支持服务端生成二维码（解决前端不方便生成二维码的召回场景）
2021年02月<-补齐用户分群及召回功能的文档和交互用接口。ghost_console（管理端）功能补齐
2021年03月<-召回支持黑名单功能，便于提高一些免费邮件如阿里的授信，也减少其他渠道的无效召回浪费
2021年04月<-召回功能的消息中心支持非模板消息
2021年06月<-召回功能适配更多的渠道
2021年08月<-支持广告位管理及第三方监测（如秒针等。这个是用来给第三方监测的。不是自己用CPC广告的那些，那个早就支持了。）
2021年10月<-支持项目管理和神策的crc校验功能，减少恶意攻击和恶意刷量。
2022年4月<-支持oCPC广告位管理，支持第三方回调，简单的效果管理