ES之从mysql中获取数据导入至ES

elasticsearch-jdbc

官网下载地址:官网

方式一,手动编写配置文件操作

1、安装elasticsearch-jdbc中间键

1
2
wget http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/2.3.4.0/elasticsearch-jdbc-2.3.4.0-dist.zip 
unzip elasticsearch-jdbc-2.3.4.0-dist.zip

2、安装dos2unix

1
yum install dos2unix

3、编写配置文件mysql_accountinfo.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
#!/bin/sh

DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
bin=${DIR}/../bin
lib=${DIR}/../lib

echo '{
"type":"jdbc",
"jdbc":{
"url":"jdbc:mysql://localhost:3306/kakme",
"user":"root",
"password":"123456",
"sql":"select id as _id , account_name as accountName , nick_name nickName from account_info",
"elasticsearch" : {
"cluster" : "nini",
"host" : "localhost",
"port" : 9300
},
"index":"cwenao",
"type":"accountinfo",

"type_mapping" :{
"account_info": {
"properties": {
"id":{
"type":"string",
"index":"not_analyzed"
},
"accountName":{
"type":"string"
},
"nickName":{
"type":"string"
}
}
}
}
}
}' | java \
-cp "${lib}/*" \
-Dlog4j.configurationFile=${bin}/log4j2.xml \
org.xbib.tools.Runner \
org.xbib.tools.JDBCImporter

4、上传服务器并用dos2unix转换

1
2
3
dos2unix mysql_accountinfo.sh
chmod 700 mysql_accountinfo.sh
sh mysql_accountinfo.sh

5、查看结果

1
curl -XGET 'http://localhost:9200/cwenao/accountinfo/_search?pretty'

参考博客:https://blog.csdn.net/cwenao/article/details/54944937

其他方式

参考中文连接:中文社区

或者使用logstash,参考连接:连接

参考:https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/get_start/hello_world.html

Logstash导入Mysql数据

安装

1、去官网下载zip安装包

2、下载JDBC链接驱动,选择java源,下载地址:地址

使用

1、在 logstash 解压后的/bin目录下,创建一个 Logstash 的配置文件:jdbc.conf。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
input {
jdbc {
jdbc_driver_library => "F:\mysql-connector-java-5.1.38\mysql-connector-java-5.1.38\mysql-connector-java-5.1.38-bin.jar"
jdbc_driver_class => "Java::com.mysql.jdbc.Driver"
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/im"
jdbc_user => "root"
jdbc_password => "root"
statement => "SELECT `msg_info`.`msgId`, `msg_info`.`content`, `msg_info`.`date`, `msg_info`.`fromUser`, `msg_info`.`toUser`, `msg_info`.`msgType`,`msg_info`.`hasRead` FROM `im`.`msg_info`"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
}
}

filter {
}

output {
stdout {
codec => rubydebug
}

elasticsearch {
index => "forum-mysql"
}
}

这里需要注意的是,JDBC驱动不要安装最新版的8.x,启动不了,暂时还不知道为什么,选用的是5.X版本。

2、执行命令,启动 Logstash

1
2
$ cd ~/logstash-6.3.0/bin
$ logstash -f jdbc.conf

如果报错,可能是SQL表中存在为null的字段,删除即可。

3、登录kibana查看数据:

1
GET forum-mysql/_search

报错修复

Error: Java::com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library?

–> 请尝试使用 JDK 8 来运行 Logstash。

文章作者: gqsu
文章链接: http://www.ipdax.com/2018/07/27/elasticsearch-从Mysql导入数据/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 技术笔记分享
支付宝打赏
微信打赏