Euler 2.0 点和边的属性索引

本章的章节内容安排如下：

索引类型
索引构建
索引文件meta格式
- 单值属性上的索引
- list属性上的索引

Euler-2.0新增点和边的属性索引功能，支持根据某个属性对点和边进行全局采样过滤和邻居采样过滤。Euler1.0的全局采样和邻居采样只支持按type进行采样。在最近一段时期，我们发现，图表征学习的算法发展越来越精细化，针对节点和边的某种属性的的采样需求越来越大，所以在Euler-2.0里面提供了按索引采样的功能，并且优化了采样的效率，和直接采样效率相当。

索引类型

全局hash索引

全局采样过滤精确匹配某种属性的点和边。适用于全局采样负例的时候，加上过滤条件，只采样满足条件的负例。支持的查询有：eq，not_eq，in，not_in

全局range索引

全局采样过滤某种属性在某个范围内的点和边。适用于全局采样负例的时候，加上过滤条件，只采样满足条件的负例。支持的查询有：eq，not_eq，ge，le，gt，lt，in，not_in

邻居索引

采样某个点的满足某种属性的邻居节点。适用于邻居采样的时候，加上过滤条件，只采样满足条件的邻居节点。支持的查询与全局range索引相同。

索引构建

Euler-2.0已经提供工具用来生成Euler可用的图数据和索引构建，可以参考如下命令

cd Euler-2.0/euler/tools
sh gen_partitioned_data.sh ../../tools/test_data/graph.json ../../tools/test_data/meta /tmp/euler/ shard_num

graph.json 是图数据的json格式，具体参照数据准备章节

meta 是索引的meta文件，指明使用哪个属性来建立索引，索引的名字，字段类型等

详细情况参考build工具章节

索引文件meta格式

{
  "node":
  {
    "type" : "node_type:int32_t:uint64_t:hash_index",
    "features":{
      "f4":
      {
        "1":"price:float:uint64_t:range_index"
      },
      "f3":
      {
        "0":"att:float:uint64_t:neighbor_index"
      }
    }
  },
  "edge":
  {
    "type" : "edge_type:int32_t:uint64_t:hash_index",
    "features":{
      "f3":
      {
        "0":"edge_value:float:uint64_t:range_index"
      },
      "f4":
      {
        "1":"edge_att:float:uint64_t:neighbor_index"
      }
    }
  }
}

meta 文件采用json格式，node属性和edge属性分开。

  "node":
  {
    "type" : "node_type:int32_t:uint64_t:hash_index",
    "features":{
      "f4":
      {
        "1":"price:float:uint64_t:range_index"
      },
      "f3":
      {
        "0":"att:float:uint64_t:neighbor_index"
      }
    }
  }

这段表示对node建立了3个索引，分别是node的type属性，node的features属性中的f4的list属性的第一维，node的features属性中的f3的list属性的第零维。“type”，“features”，“f4”等字段是graph.json里存在的字段，索引meta必须和graph.json 配合使用

"node_type:int32_t:uint64_t:hash_index" 是索引描述字段，由四元组组成(index_name:key_type:nodeid_type:index_type)，分别表示索引的名字(全局唯一)，索引值的类型，节点(或边)id的存储类型(需要和图中的节点id存储类型一致)，索引类型