# NEUStore_db

**Repository Path**: HeterogeneousSystem/neustore_db

## Basic Information

- **Project Name**: NEUStore_db
- **Description**: 异构数据存储
- **Primary Language**: Java
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2021-10-15
- **Last Updated**: 2022-01-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

## 0.下载src_dst.csv,放置在./neugraph路径下，src_dst.csv的下载地址链接: https://pan.baidu.com/s/11pU-dG-nBkAnh0SQHDroxw 提取码: mmhm

## 1.环境中 go 需要代理，然后关闭(export)

## 2.make 中需要注意将文件格式转换为unix


#make Process  
source /usr/local/~
mkdir build
cd build
cmake -DCMAKE_BUILD_TYPE=debug  -DCMAKE_LIBRARY_PATH=/usr/local/cuda/lib64/stubs  ..
make -j 4

# CUDA
sudo apt install -y nvidia-cuda-toolkit

yay -S linux-headers cuda nvidia


## environment Variables
PATH=/opt/cuda/bin:$PATH
export PATH


# make test
mkdir build && cd build
cmake -DENABLE_ASAN=on -DENABLE_CUDA=off ..
make -j 4

# run the tests:
export ASAN_OPTIONS=alloc_dealloc_mismatch=0:handle_segv=0
make sanity_tests

mkdir build && cd build
cmake -DENABLE_TSAN=on -DENABLE_CUDA=off ..
make -j 4



## client compile
mvn compile \
mvn package \
mvn install  \
java -jar ...

maven 安装依赖
mvn install:install-file -Dfile=F:\code\jar\hcbMfs-1.0.0.jar -DgroupId=com.geekvan.baselib -DartifactId=geekvan -Dversion=1.1.0 -Dpackaging=jar

#### 运行环境
sudo docker run \
--gpus all \
-d \
--name H-Store \
--network=host \
-v local_path \
geekvan/gsql:runtimev3

## 图部分环境
#### miniconda python3.7
conda install -c nvidia -c rapidsai -c numba -c conda-forge -c defaults cudf=0.14 \
conda install -c nvidia -c rapidsai -c numba -c conda-forge -c defaults cugraph


#启动服务
sudo docker exec -it docker_id  bash
cd /neu-storage
java -jar neugsql-1.0-SNAPSHOT.jar
cd  ./neuGraph
kill -9 python.port
python server_graph.py

##查看GPU状态
nvidia-smi

#本地启动服务
java -jar neugsql-client-1.0-SNAPSHOT.jar




#### 编译环境
>geekvan/gsql:v1

> ./omnisci/bin/omnisql -p HyperInteractive


#### 其它命令
>bash /omnisci/startomnisci --non-interactive --data /omnisci-storage/data --config /omnisci-storage/omnisci.conf

>Backend TCP:  localhost:6274
Backend HTTP: localhost:6278
Frontend Web: localhost:6273
Calcite TCP:  localhost:6279
server 6280


>copy $table from '${csv}' with (quoted='true');" | ./bin/omnisql omnisci -u admin -p HyperInteractive --port "$MAPD_TCP_PORT


#################### zookeeper 配置
>sudo docker pull wurstmeister/zookeeper
>sudo docker run -d --name zookeeper --publish 7181:2181 --volume /etc/localtime:/etc/localtie wurstmeister/zookeeper


#################### kafka配置
>sudo docker pull wurstmeister/kafka
> sudo docker run -d --name kafka --publish 7092:9092 --publish 7888:8888  --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=202.199.6.224:7181 --env KAFKA_ADVERTISED_HOST_NAME=202.199.6.224    --env KAFKA_ADVERTISED_PORT=7092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka


################# kafka相关命令
>kafka-topics.sh --create --topic 0 --zookeeper 202.199.6.224:7181 --config max.message.bytes=12800000 --config flush.messages=1 --partitions 5 --replication-factor 1
>kafka-topics.sh --list --zookeeper 202.199.6.224:7181


#### mvn 打包

java -jar neugsql-1.0-SNAPSHOT.jar 运行服务端处理程序

### 执行sql语句

docker exec -it <container-id> server_path

## 图查询
/**
•	加载图数据: load _ _
返回布尔值代表图数据是否加载成功
•	获取图信息: info
返回图的边数, 顶点数
•	查询顶点是否存在: node src_id
返回布尔值代表是否存在
•	查询边是否存在: edge src_id dst_id
返回布尔值代表是否存在
•	查询顶点邻居信息: neighbor src_id
返回list包含查询顶点的所有邻居
•	查询顶点n跳邻居: hops src_id n
返回list包含查询顶点的所有n跳邻居
•	查询两点间最短路径: path src_id dst_id
返回源节点和目标节点之间的最短路径信息
•	单源最短路径算法: sssp src_id
返回图中所有节点到源节点的最短路径长度
•	Pagerank算法返回前n个最大值: pagerank n
返回前n个节点的id和对应的pagerank值


所有命令由3个值构成,不足的补下划线
**/
------------------------------------------------------------------------