热门标签
热门文章
- 1Flutter开发之从入门到进阶最详细教程（没有之一）_flutter开发教程
- 2RabbitMQ 作用及模式_rabbitmq的作用
- 3C# WPF入门学习主线篇（二十五）—— 单向绑定、双向绑定_wpf prism textbox 双向绑定 类里面的属性
- 4Vscode——SSH连接不进去服务器的万能解决办法_vscode ssh连不上
- 5vscode返回上一级_vscode返回上一个位置
- 6uniapp小程序uView自定义tabbar_uview tabbar
- 77z压缩包加密、解密、忘记密码？_7z解压密码
- 8【深度学习】语义分割：论文阅读：(CVPR 2022) MPViT（CNN+Transformer）：用于密集预测的多路径视觉Transformer
- 9nltk.download()下载失败_nltk.download('punkt') 没反应
- 10Check Point R80.40 防火墙_check point防火墙
当前位置: article > 正文
GeoMesa安装
作者：繁依Fanyi0 | 2024-06-22 03:52:43
赞
踩
geomesa安装
GeoMesa安装
GeoMesa的安装主要包括5个组件的安装，分别是：
- GeoMesa Accumulo安装
- GeoMesa Kafka安装
- GeoMesa HBase安装
- GeoMesa Bigtable安装
- GeoMesa Cassandra安装
1 GeoMesa Accumulo安装
Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用 Google BigTable 设计思路，基于 Apache Hadoop、Zookeeper 和 Thrift 构建。 GeoMesa 提供了对Accumulo的支持，可以将时空数据存储到Accumulo中。1.1 安装要求
操作系统为Unbunu 14.04 server，需要有sudo权限，并且交换分区最少为2G。 目前GeoMesa 支持的Accumulo版本为1.7。因为Accumulo依赖于Hadoop和Zookeeper，因此在安装Accumulo之前，要首先安装Hadoop和Zookepper。为了方便演示和学习，本教程中Hadoop和Zookeeper以及Accumulo安装的都是单机版本，并会安装到同一台机器上。关于集群的安装和配置，请查阅相关文档。 GeoMesa Accumulo还提供了通过GeoServer访问的能力，因此需要使用该功能的话，还需要安装GeoServer。目前GeoMesa Accumulo支持的GeoServer版本为2.9.1。1.2 安装Hadoop
安装java
首先，需要安装Java1.8，打开Ubuntu命令行，添加pa:webupd8team/java并更新apt-get，如下面代码：- root@HDMachine:~$ sudo add-apt-repository ppa:webupd8team/java
- root@HDMachine:~$ sudo apt-get update
root@HDMachine:~$ sudo apt-get install oracle-java8-installer- root@HDMachine:~$ java -version
- java version "1.8.0_121"
- Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
- Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
创建hadoop用户
使用下面的命令创建hadoop用户：
- hduser@HDMachine:~$ su root
- Password:
-
- root@HDMachine:/home/hduser$ sudo adduser hduser sudo
- [sudo] password for root:
- Adding user `hduser' to group `sudo' ...
- Adding user hduser to group sudo
- Done.
安装SSH
ssh包含两部分，ssh和sshd：- ssh：客户端，用于连接远程机器。
- sshd：服务器，用于接受客户端的连接请求 ssh在Linux上是默认安装的，但是为了能够启动sshd服务，需要重新安装ssh，命令如下：
root@HDMachine:~$ sudo apt-get install ssh- root@HDMachine:~$ which ssh
- /usr/bin/ssh
-
- root@HDMachine:~$ which sshd
- /usr/sbin/sshd
创建和安装SSH证书
Hadoop使用SSH来管理其节点，对应单节点的安装，我们需要配置SSH能够免密码访问locahost。当ssh-keygen命令需要输入文件名的时候，直接按回车键即可创建没有密码的公钥。命令如下：
- hduser@HDMachine:~$ ssh localhost
- The authenticity of host 'localhost (127.0.0.1)' can't be established.
- ECDSA key fingerprint is e1:8b:a0:a5:75:ef:f4:b4:5e:a9:ed:be:64:be:5c:2f.
- Are you sure you want to continue connecting (yes/no)? yes
- Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
- Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-40-generic x86_64)
下载Hadoop
使用wget命令去hadoop网站下载hadoop2.8.0安装包，并解压，命令如下：- hduser@HDMachine:~$ wget http://mirrors.sonic.net/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
- hduser@HDMachine:~$ tar xvzf hadoop-2.8.0.tar.gz
- hduser@HDMachine:~/hadoop-2.6.0$ sudo mv * /usr/local/hadoop
- [sudo] password for hduser:
修改hadoop配置文件
需要修改的配置文件主要有5个：- ~/.bashrc
- /usr/local/hadoop/etc/hadoop/hadoop-env.sh
- /usr/local/hadoop/etc/hadoop/core-site.xml
- /usr/local/hadoop/etc/hadoop/mapred-site.xml.template
- /usr/local/hadoop/etc/hadoop/hdfs-site.xml
配置~/.bashrc
在修改 .bashrc文件之前，需要先找到Java的安装路径，命令如下：- hduser@HDMachine update-alternatives --config java
- There is only one alternative in link group java (providing /usr/bin/java): /usr/lib/jvm/java-8-oracle/jre/bin/java
- Nothing to configure.
配置 /usr/local/hadoop/etc/hadoop/hadoop-env.sh
在hadoop-env.sh文件中需要设置 JAVAHOME 环境变量，使用vi编辑hadoop-env.sh文件，并设置JAVAHOME环境变量。命令如下：- hduser@HDMachine:~$ vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
-
- export JAVA_HOME=/usr/lib/jvm/java-8-oracle
配置 /usr/local/hadoop/etc/hadoop/core-site.xml
/usr/local/hadoop/etc/hadoop/core-site.xml文件包含Hadoop启动时候的配置选项，在该文件里面配置的选项会覆盖Hadoop的默认设置。 在配置/usr/local/hadoop/etc/hadoop/core-site.xml文件前，先创建临时目录，用于Hadoop临时文件的存储，命令如下：- hduser@HDMachine:~$ sudo mkdir -p /app/hadoop/tmp
- hduser@HDMachine:~$ sudo chown hduser:hadoop /app/hadoop/tmp
配置/usr/local/hadoop/etc/hadoop/mapred-site.xml
默认情况下， /usr/local/hadoop/etc/hadoop/目录下包含/usr/local/hadoop/etc/hadoop/mapred-site.xml.template 文件，没有mapred-site.xml文件。因此我们要拷贝mapred-site.xml.template文件并重命名为mapred-site.xml，命令如下：hduser@HDMachine:~$ cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml配置 /usr/local/hadoop/etc/hadoop/hdfs-site.xml
/usr/local/hadoop/etc/hadoop/hdfs-site.xml需要在集群中的每台机器上配置，其主要用来配置namenode 和datanode使用的目录。在配置该文件之前，先创建两个目录用来给namenode和datanode使用，命令如下：- hduser@HDMachine:~$ sudo mkdir -p /usr/local/hadoop_store/hdfs/namenode
- hduser@HDMachine:~$ sudo mkdir -p /usr/local/hadoop_store/hdfs/datanode
- hduser@HDMachine:~$ sudo chown -R hduser:hadoop /usr/local/hadoop_store
格式化Hadoop文件系统
在使用Hadoop之前，我们需要格式化Hadoop文件系统，命令如下：
启动Hadoop
启动Hadoop，直接执行sbin目录下的start-all.sh即可，命令如下：
- hduser@HDMachine:/usr/local/hadoop/sbin$ jps
- 51633 Jps
- 50756 DataNode
- 50981 SecondaryNameNode
- 51318 NodeManager
- 50570 NameNode
- 51149 ResourceManager
停止Hadoop
通过运行sbin目录中的stop-all.sh脚本可以停止Hadoop。命令如下：
Hadoop的wen管理页面
在浏览器中打开http://localhost:50070，即可以通过浏览器查看namenode的信息，如图1：
1.3 安装ZooKeeper
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。下载ZooKeeper
使用wget命令去ZooKeeper下载网站下载ZooKeeper3.4.10安装包，并解压，命令如下： ~~~ hduser@HDMachine:~$ wget http://www.eu.apache.org/dist/zookeeper/stable/zookeeper-3.4.10.tar.gz hduser@HDMachine:~$ tar xvzf zookeeper-3.4.10.tar.gz ~~~ 为了方便管理和使用，将zookeeper移动到/usr/local/zookeeper目录，命令如下：- hduser@HDMachine:~/zookeeper-3.4.10$ sudo mv * /usr/local/zookeeper
- [sudo] password for hduser:
配置ZooKeeper
拷贝ZooKeeper的配置文件模板到conf目录下，并重命名为zoo.cfg，命令如下：hduser@HDMachine:~$ cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg启动ZooKeeper
使用bin目录下的zkServer.sh脚本启动ZooKeeper，命令如下：hduser@HDMachine:/usr/local/zookeeper$ bin/zkServer.sh start- ZooKeeper JMX enabled by default
- Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
- Starting zookeeper ... STARTED
1.4 安装Accumulo
下载Accumulo
使用wget命令去Accumulo下载网站下载Accumulo1.7 安装包，并解压，命令如下：- hduser@HDMachine:~$ wget https://www.apache.org/dyn/closer.lua/accumulo/1.7.3/accumulo-1.7.3-bin.tar.gz
- hduser@HDMachine:~$ tar xvzf accumulo-1.7.3-bin.tar.gz
- hduser@HDMachine:~/accumulo-1.7.3-bin$ sudo mv * /usr/local/accumulo
- [sudo] password for hduser:
配置Accumulo
Accumulo提供了具有各种内存大小的服务器的示例配置，分别为512 MB，1 GB，2 GB和3 GB。本文采取512 MB的配置，用户可以根据服务器配置来选择不同的Accumulo配置文件。 拷贝512M对应的配置文件到conf目录，命令如下：hduser@HDMachine:~$ cp /usr/local/accumulo/conf/examples/512MB/standalone/* /usr/local/accumulo/conf/配置~/.bashrc文件
使用vi编辑~/.bashrc文件，设置HADOOPHOME和ZOOKEEPERHOME环境变量，命令如下：- hduser@HDMachine:~$sudo vi ~/.bashrc
-
- export HADOOP_HOME=/usr/local/hadoop/
- export ZOOKEEPER_HOME=/usr/local/zookeeper/
配置accumulo-env.sh
使用vi打开accumulo-env.sh文件，设置ACCUMULOMONITORBIND_ALL选项为true，命令如下：- hduser@HDMachine:~$sudo vi /usr/local/accumulo/conf/accumulo-env.sh
-
- export ACCUMULO_MONITOR_BIND_ALL="true"
配置accumulo-site.xml
accumulo的工作进程之间沟通需要使用密码，在accumulo-site.xml文件中我们可以将密码修改为一个安全的密码。在accumulo-site.xml文件中找到instance.secret，然后修改其value,本文中修改为PASS1234。修改后的配置文件如下：- <property>
- <name>instance.secret</name>
- <value>PASS1234</value>
- <description>A secret unique to a given instance that all servers must know in order to communicate with one another.
- Change it before initialization. To
- change it later use ./bin/accumulo org.apache.accumulo.server.util.ChangeSecret --old [oldpasswd] --new [newpasswd],
- and then update this file.
- </description>
- </property>
- <property>
- <name>instance.volumes</name>
- <value>hdfs://localhost:54310/accumulo</value>
- </property>
- <property>
- <name>trace.token.property.password</name>
- <value>mypassw</value>
- </property>
初始化Accumulo
使用bin目录下的accumulo进行初始化，命令如下：- hduser@HDMachine:/usr/local/accumulo$ bin/accumulo init
- 2017-05-03 16:38:11,332 [conf.ConfigSanityCheck] WARN : Use of instance.dfs.uri and instance.dfs.dir are deprecated. Consider using instance.volumes instead.
- 2017-05-03 16:38:12,800 [fs.VolumeManagerImpl] WARN : dfs.datanode.synconclose set to false in hdfs-site.xml: data loss is possible on hard system reset or power loss
- 2017-05-03 16:38:12,802 [init.Initialize] INFO : Hadoop Filesystem is hdfs://localhost:54310
- 2017-05-03 16:38:12,803 [init.Initialize] INFO : Accumulo data dirs are [hdfs://localhost:54310/accumulo]
- 2017-05-03 16:38:12,803 [init.Initialize] INFO : Zookeeper server is localhost:2181
- 2017-05-03 16:38:12,803 [init.Initialize] INFO : Checking if Zookeeper is available. If this hangs, then you need to make sure zookeeper is running
- Instance name : geomesa
- Enter initial password for root (this may not be applicable for your security setup): ******
- Confirm initial password for root: ******
- 2017-05-03 16:38:28,350 [Configuration.deprecation] INFO : dfs.replication.min is deprecated. Instead, use dfs.namenode.replication.min
- 2017-05-03 16:38:33,501 [Configuration.deprecation] INFO : dfs.block.size is deprecated. Instead, use dfs.blocksize
- 2017-05-03 16:38:35,553 [conf.AccumuloConfiguration] INFO : Loaded class : org.apache.accumulo.server.security.handler.ZKAuthorizor
- 2017-05-03 16:38:35,568 [conf.AccumuloConfiguration] INFO : Loaded class : org.apache.accumulo.server.security.handler.ZKAuthenticator
- 2017-05-03 16:38:35,574 [conf.AccumuloConfiguration] INFO : Loaded class : org.apache.accumulo.server.security.handler.ZKPermHandler
启动Accumulo
使用bin目录下的start-all.sh脚本可以启动accumulo，命令如下：
Web管理页面
Accumulo启动以后，可以通过 http://localhost:50095打开Accumulo Web管理页面，如图3-2：
1.5 安装GeoServer
GeoServer 是 OpenGIS Web 服务器规范的 J2EE 实现，利用 GeoServer 可以方便的发布地图数据，允许用户对特征数据进行更新、删除、插入操作，通过 GeoServer 可以比较容易的在用户之间迅速共享空间地理信息。GeoServer兼容 WMS 和 WFS 特性；支持 PostgreSQL、 Shapefile 、 ArcSDE 、 Oracle 、 VPF 、 MySQL 、 MapInfo ；支持上百种投影；能够将网络地图输出为 jpeg 、 gif 、 png 、 SVG 、 KML 等格式；能够运行在任何基于 J2EE/Servlet 容器之上；嵌入 MapBuilder 支持 AJAX 的地图客户端OpenLayers；除此之外还包括许多其他的特性。下载GeoServer
使用wget命令去GeoServer下载网站下载GeoServer2.9.1 安装包，并解压，命令如下：- hduser@HDMachine:~$ wget https://sourceforge.net/projects/geoserver/files/GeoServer/2.9.1/geoserver-2.9.1-bin.zip
- hduser@HDMachine:~$ unzip geoserver-2.9.1-bin.zip
- hduser@HDMachine:~/geoserver-2.9.1-bin$ sudo mv * /usr/local/geoserver
- [sudo] password for hduser:
配置~/.bashrc文件
使用vi打开 ~/.bashrc文件，设置GEOSERVER_HOME环境变量，命令如下：- hduser@HDMachine:~$ vi ~/.bashrc
-
- export GEOSERVER_HOME=/usr/local/geoserver
hduser@HDMachine:~$source ~/.bashrc修改geoserver文件夹拥有者
使用chown命令修改geoserver文件夹拥有者，将geoserver文件夹拥有者修改为hadoop用户，即hduser。命令如下：hduser@HDMachine:~$sudo chown -R hduser /usr/local/geoserver/启动GeoServer
进入geoserver/bin目录，执行startup.sh脚本，即可启动GeoServer，命令如下：- hduser@HDMachine:~$cd /usr/local/geoserver/bin
- hduser@HDMachine:/usr/local/geoserver/bin$ ./startup.sh
打开GeoServerWeb控制台
在Web浏览器中输入http://localhost:8080/geoserver，即可打开GeoServerWeb控制台，如图3-3：
用户可以使用默认 admin/geoserver 登陆进行管理。
1.6 安装GeoMesa Accumulo
GeoMesa Accumulo的安装有2种方式，从编译好的二进制包安装和编译源码安装。1.6.1 从二进制包安装
从从编译好的二进制包安装比较简单，直接下载编译好的安装包，然后解压出来即可，脚本如下：- $ wget http://repo.locationtech.org/content/repositories/geomesa-releases/org/locationtech/geomesa/geomesa-accumulo-dist_2.11/$VERSION/geomesa-accumulo-dist_2.11-$VERSION-bin.tar.gz
- $ tar xvf geomesa-accumulo-dist_2.11-$VERSION-bin.tar.gz
- $ cd geomesa-accumulo-dist_2.11-$VERSION
- $ ls
- bin/ conf/ dist/ docs/ emr4/ examples/ lib/ LICENSE.txt logs/
1.6.2 从源代码编译安装
1）环境依赖
在编译代码之前，需要确保安装了下面的软件：- Java JDK 8
- Apache Maven 3.2.2+
- git client
2）下载代码
使用git命令下载代码，命令如下：- $ git clone https://github.com/locationtech/geomesa.git
- $ cd geomesa
git checkout tags/geomesa-$VERSION -b geomesa-$VERSION3）编译代码
使用maven编译代码，maven的项目文件pom.xml在代码的根目录下。命令如下：$ mvn clean install$ mvn clean install -DskipTests=true$ build/mvn clean install1.6.3 安装Accumulo 分布式运行时库
geomesa-accumulo-dist_2.11-$VERSION/dist/accumulo目录下包含了accumuloserver端运行时所需要的类库，这些类库需要部署到accumulo集群中每台tablet服务器上。 需要注意的是安装目录下有2个运行时类库，一个支持Raster，一个不支持Raster。安装的时候只需要安装一个即可。两个同时安装会导致问题。另外运行时类库的版本必须和GeoMesa 数据存储客户端类库（在GeoServer中使用)的版本一致，否则在查询数据不一定能够正确工作。1）手动安装
将运行时类库拷贝到集群中每个tablet服务器的$ACCUMULO_HOME/lib/ext目录中，命令如下：- # something like this for each tablet server
- $ scp dist/accumulo/geomesa-accumulo-distributed-runtime_2.11-$VERSION.jar \
- tserver1:$ACCUMULO_HOME/lib/ext
- # or for raster support
- $ scp dist/accumulo/geomesa-accumulo-distributed-runtime-raster_2.11-$VERSION.jar \
- tserver1:$ACCUMULO_HOME/lib/ext
1）命名空间安装
使用手工的方式安装运行时库，可以保证能够GeoMesa Accumulo正确运行。但是从Accumulo 1.6+,我们可以利用namespace将GeoMesa类路径与其余的Accumulo隔离开来。 使用geomesa-accumulo-dist_2.11-$VERSION/bin目录下的setup-namespace.sh脚本，可以基于NameSpace进行安装，命令如下：./setup-namespace.sh -u myUser -n myNamespace- -u <Accumulo username>
- -n <Accumulo namespace>
- -p <Accumulo password> (可选，如果不提供，将提示)
- -g <Path of GeoMesa distributed runtime JAR> (可选, 默认为distribution 文件夹，并且不支持Raster)
- -h <HDFS URI e.g. hdfs://localhost:54310> (可选，如果不提供，将提示)
- $ accumulo shell -u root
- > createnamespace myNamespace
- > grant NameSpace.CREATE_TABLE -ns myNamespace -u myUser
- > config -s general.vfs.context.classpath.myNamespace=hdfs://NAME_NODE_FDQN:54310/accumulo/classpath/myNamespace/[^.].*.jar
- > config -ns myNamespace -s table.classpath.context=myNamespace
1.6.4 配置Accumulo命令行工具
在geomesa-accumulo2.11-$VERSION/bin/目录中，GeoMesa提供了一些命令行工具帮助用户管理Accumulo。可以通过运行geomesa-accumulo2.11-$VERSION/bin/目录下的geomesa-env.sh脚本来设置环境变量。 在geomesa-accumulo_2.11-$VERSION目录下运行bin/geomesa configure 来配置这些工具，命令如下：- ### in geomesa-accumulo_2.11-$VERSION/:
- $ bin/geomesa configure
- Warning: GEOMESA_ACCUMULO_HOME is not set, using /path/to/geomesa-accumulo_2.11-$VERSION
- Using GEOMESA_ACCUMULO_HOME as set: /path/to/geomesa-accumulo_2.11-$VERSION
- Is this intentional? Y\n y
- Warning: GEOMESA_LIB already set, probably by a prior configuration.
- Current value is /path/to/geomesa-accumulo_2.11-$VERSION/lib.
-
- Is this intentional? Y\n y
-
- To persist the configuration please update your bashrc file to include:
- export GEOMESA_ACCUMULO_HOME=/path/to/geomesa-accumulo_2.11-$VERSION
- export PATH=${GEOMESA_ACCUMULO_HOME}/bin:$PATH
- export GEOMESA_ACCUMULO_HOME=/path/to/geomesa-accumulo_2.11-$VERSION
- export PATH=${GEOMESA_ACCUMULO_HOME}/bin:$PATH
$ source ~/.bashrc- $ bin/install-jai.sh
- $ bin/install-jline.sh
- $ geomesa
- Using GEOMESA_ACCUMULO_HOME = /path/to/geomesa-accumulo-dist_2.11-$VERSION
- Usage: geomesa [command] [command options]
- Commands:
- ...
1.6.5 在GeoServer中安装GeoMesa Accumulo插件
GeoMesa实现了兼容GeoTools的数据存储接口，因此在GeoServer中可以将GeoMesa Accumulo作为数据源使用。 在GeoServer运行之后，需要安装GeoServer的WPS插件，关于WPS插件的安装请参考GeoServer的安装文档。 在GeoServer中安装GeoMesa Accumulo插件可以使用bin目录下的manage-geoserver-plugins.sh脚本，命令如下：
- $ tar -xzvf \
- geomesa-accumulo_2.11-$VERSION/dist/geoserver/geomesa-accumulo-gs-plugin_2.11-$VERSION-install.tar.gz \
- -C /path/to/tomcat/webapps/geoserver/WEB-INF/lib/
- ~~~
- 如果使用GeoServer内置的Jetty，命令如下：
- $ $GEOMESA_ACCUMULO_HOME/bin/install-hadoop-accumulo.sh /path/to/tomcat/webapps/geoserver/WEB-INF/lib/
- Install accumulo and hadoop dependencies to /path/to/tomcat/webapps/geoserver/WEB-INF/lib/?
- Confirm? [Y/n]y
- fetching https://search.maven.org/remotecontent?filepath=org/apache/accumulo/accumulo-core/1.6.5/accumulo-core-1.6.5.jar
- --2015-09-29 15:06:48-- https://search.maven.org/remotecontent?filepath=org/apache/accumulo/accumulo-core/1.6.5/accumulo-core-1.6.5.jar
- Resolving search.maven.org (search.maven.org)... 207.223.241.72
- Connecting to search.maven.org (search.maven.org)|207.223.241.72|:443... connected.
- HTTP request sent, awaiting response... 200 OK
- Length: 4646545 (4.4M) [application/java-archive]
- Saving to: ‘/path/to/tomcat/webapps/geoserver/WEB-INF/lib/accumulo-core-1.6.5.jar’
- ...
查看原文：http://www.giser.net/?p=1559
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/745265
推荐阅读
相关标签
