批量写入PIKA数据丢失问题

[PuddingCoder]

使用go语言，redigo框架写入。KV数据规模1.2亿，会丢失10万左右的数据。
代码示例：

conn, err := redis.Dial("tcp", address)
for:
    err = conn.Send("set", pikaInfo.Key, string(pikaInfoValue))
        if 每十万提交一次:
    	    err = conn.Flush()
    err = conn.Flush()

[whoiami]

1，使用的版本是什么呢 2，如何确定数据写入返回ok的 3， 如何统计数据丢了的

[PuddingCoder]

1，使用的版本是什么呢 2，如何确定数据写入返回ok的 3， 如何统计数据丢了的

1. PIKA 版本：pika_version:3.2.8、redis客户端4.0.1
2. 当前使用批量的方式将KV导入到数据库中，导入过程见上。导入过程中没有任何报错。抽样一些数据查key，可以查到值
3. 导入完成后查看PIKA info keyspace，发现数目比导入数据量少（无重复数据）。抽样get一些key发现没有写入。 （PIKA log也没有任何报错信息）

目前情况大概是这样，让人捉不到头脑。

[whoiami]

你好 info all 可以看目前执行了哪些命令例如
Command_Exec_Count
GET:10000000
SET:10002000
ZREVRANGE:1000
KEYS:3
INFO:24
FLUSHALL:1
我自己在本地测试了1000W个key 然后再拿出来是没有问题的，一条都没有少，你可以检查一下你写入的条数有没有问题

[PuddingCoder]

你好 info all 可以看目前执行了哪些命令例如
Command_Exec_Count
GET:10000000
SET:10002000
ZREVRANGE:1000
KEYS:3
INFO:24
FLUSHALL:1
我自己在本地测试了1000W个key 然后再拿出来是没有问题的，一条都没有少，你可以检查一下你写入的条数有没有问题

请问能分享一个go语言下的批量写入demo吗，可能是我批量写入的问题。
另外十万一次的批上传，需要需要修改下PIKA的config吗？

[whoiami]

我自己本身用hiredis的 go的demo可能不太熟悉
10W一次是一次pipeline10W条 是吗？10W 的话pika有最大单次请求命令限制默认 256MByte

[AlexStocks]

我自己本身用hiredis的 go的demo可能不太熟悉 10W一次是一次pipeline10W条 是吗？10W 的话pika有最大单次请求命令限制默认 256MByte

刘振：明寰的意思是如果使用了 pipeline 模式可能导致数据超载了，导致数据超过了 pika server 段链接数据的buffer，导致丢数据。