1. 在$SPARK_HOME/conf/hive-site.xml文件中添加下面的属性
vi $SPARK_HOME/conf/hive-site.xml
<configuration>
<property>
<name>hive.metastore.uris</name>
<value>thrift://master:9083</value>
<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>

<property>
<name>hive.server2.thrift.bind.host</name>
<value>192.168.56.101</value>
<description>Bind host on which to run the HiveServer2 Thrift service.</description>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10001</value>
<description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is ‘binary’.</description>
</property>
<property>
<name>hive.server2.thrift.min.worker.threads</name>
<value>5</value>
<description>Minimum number of Thrift worker threads</description>
</property>
<property>
<name>hive.server2.thrift.max.worker.threads</name>
<value>500</value>
<description>Maximum number of Thrift worker threads</description>
</property>

<property>
<name>hive.server2.enable.doAs</name>
<value>false</value>
</property>
</configuration>

2. 复制mysql JDBC驱动文件到$SPARK_HOME/lib/
cp mysql-connector-java-5.1.31-bin.jar $SPARK_HOME/lib/

3. 启动hive元数据存储服务
hive –service metastore > /tmp/grid/hive_metastore.log 2>&1 &

4. 启动spark thriftserver服务
$SPARK_HOME/sbin/start-thriftserver.sh –master spark://192.168.56.101:7077 –executor-memory 30g

5. 登入beeline
$SPARK_HOME/bin/beeline -u jdbc:hive2://192.168.56.101:10001/

参考:
https://spark.apache.org/docs/1.5.0/sql-programming-guide.html
http://www.tuicool.com/articles/7BbiArR

http://blog.zhaishidan.cn/2015/05/15/jie-jue-beelinelian-jie-hiveserver2zhi-xing-sqlbao-cuo-de-wen-ti/

————————————————
版权声明:本文为CSDN博主「wzy0623」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/wzy0623/article/details/50999197

 

 

 

 

 

 

1.基于hive的thrift server2服务的配置:
    比如监听端口:  hive.server2.thrift.port=10000
          hive.server2.thrift.bind.host=localhost
      一般情况下,需要将hive.server2.thrift.bind.host改成具体的hostname
2.与SparkSQL一样,需要进行hive的集成
3.启动
    sbin/start-thriftserver.sh 
    http://hadoop-senior01:4040/sqlserver/
    sbin/stop-thriftserver.sh ## 关闭命令
4.连接测试

    bin/beeline 
    beeline> !connect jdbc:hive2://localhost:10000
    Connecting to jdbc:hive2://localhost:10000
    Enter username for jdbc:hive2://localhost:10000: hadoop
    Enter password for jdbc:hive2://localhost:10000: ******    
    bin/beeline
    beeline> !connect jdbc:hive2://localhost:10000 gerry 123456
bin/beeline -u jdbc:hive2://localhost:10000 -n gerry -p 123456

5.相关参数说明

    driver、url和hive的thriftserver2服务是完全一样的,包括ssl权限验证相关参数
    url: jdbc:hive2://localhost:10000
    username、password:要求给定的username可以在hdfs进行数据操作,具有hdfs写权限

  作用:
     提供JDBC给其他应用使用,比如tableau、需要通过jdbc+spark的方式获取hive数据的应用.........

  beeline
    https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients
    hive中提供的方式数据库服务的工具,要求数据库提供JDBC连接方式
    命令:!help查看帮助信息

6.测试beeline连接mysql

     将驱动添加到spark的classpath中
         bin/beeline
         beeline> !connect jdbc:mysql://localhost:3306/test root 123456
————————————————
版权声明:本文为CSDN博主「泪痕残」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u012893747/article/details/78721377

 

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注