175平台官网可以安装自己的服务器吗

175pt(一起玩平台)
简介  深圳市壹柒伍网络科技有限公司(简称175公司)是一家专注于电子竞技类的网络游戏公司,主打产品包括电游社区和多游戏运营平台&175pt一起玩平台&.175pt目前主要运营广受欢迎的FPS游戏CS系列,是国内最大的CS,未来我们还将引入更多的竞技类网游. 我们在相当长的时间内都会专注在电子竞技这个网游巨大的细分领域发展.并努力通过丰富的赛事活动体系,网吧分服联合运营,游戏公会社区的建设使我们成为优秀的电竞类游戏运营公司.关于175PT  175PT&一起玩平台&是以各种竞技类游戏和&175主题网吧联合运营(简称175吧)&为核心的娱乐竞技平台,我们通过创新的策划组织各种活动和娱乐赛事来吸引玩家加入到一起玩平台来.涉足的游戏主要是以竞技类,适合比赛的游戏为主,例如、CS 1.5等,同时通过&175吧&联合运营和广大的网吧业主和网管共享游戏收益,建立共赢的商圈,力求打造更好的游戏娱乐互动平台.
  也就是曾经的“DCOO” 电子竞技平台。公司发展,而后公司成立深圳华南总部。
175PT里的cs1.6
游戏服务器  175PT里的CS1.6服务器分为以下几种:
  标准服:相对在混战服务器中是比较标准化,公平化的服务器。
  娱乐服:在标准服的基础上增加娱乐道具功能,使玩家能够愉快的享受娱乐服务器的特色玩法。
  :原创 CS娱乐新玩法…,175PT荣重推出了“镇魔前传” 在这里,除了可以体验到传统的僵尸F里的紧张和刺激感,更有鲜明的镇魔职业和“不一样”的僵尸哦…
  死亡服:以消灭敌人为目标的游戏模式,玩家死后可以复活。
  跳跃服:KZ模式服务器,经典的KZ跳跃早在网络上盛行,玩家们对这类服务器也是非常热衷,在此,就不必多做介绍.
  约战服:轻松约战,自动刷新,自动选边,屏蔽Flash BUG.,流畅、稳定、强大的反***,全程自动并录制DEMO,在线投诉功能游戏道具 175PT的宗旨:立足电竞游戏,围绕玩家需求,组织丰富的活动,与网吧业主和网管共享网游的未来.■ 175PT未来发展规划:
  3年内(2010年),成为中国第一流的电竞类游戏运营公司;6年内(2013年),成为中国第一流的电竞类游戏的开发和运营公司;9年内(2016年),成为世界上第一流的电竞类游戏的开发和运营公司; 改名卡:当您突发灵感又为自己想到了个好的名字或者想在名字前加上队标时用它可实现;您可以将目前的CSID修改为没有被人注册使用的新CSID,不用担心数据会消失,你的军衔、积分、酷币、VIP等现有一切数据统统保留,您修改的仅仅只是CSID而已!有效期1次. 
  VIP卡:1,拥有所有175pt混战服务器的优先通道权限;2,每局将有可能拣到装有10000金钱或体验道具的问号大礼包;3,在特定的时间段内拥有投票kick玩家的功能;4,在特定的时间段内拥有投票换图的功能。
  自由卡 :当您已身为某公会成员,此时您却想转会进其他公会时你可以用它恢复您的人身自由;公会在当前公会只有自己的情况下,使用此卡即可解散公会。有效期1次
  个性签名卡:类似于QQ的个性鉴名,您可以在你名字后设置一段全国CS玩家在游戏中都能看到的自己喜爱的经典名言了
  公会队标修改卡:您可以使用此卡将您的公会队标设计得更炫,更酷,不用担心数据会消失,公会其他成员队标同时修改,仅限队长使用!有效期1次
  双***卡:可以同时拥有2把主武器和2把手***,仅在娱乐服务器可以使用!
  极光雷:拥有该道具的用户扔闪光、手雷、烟雾,会出现彩色拖尾。手雷爆炸会出现炫丽的极光特效,原有伤害值不变。仅乐服使用!
  狂派火种源:1.使用后您在游戏中可变身为威震天; 2.在变身以及击杀敌人时均有绚丽效果显示; 3.本皮肤附带赠送酷炫手刃模型一个; 4.搭配、或火焰狙击使用该皮肤,将有变形金刚手臂模型特殊效果; 5.按E使用道具,土匪专用; 6.本道具仅在娱乐服使用
  :拥有此卡可以捡取杀敌后掉落的“宝箱”,无论是自己杀敌掉落的,还是别人杀敌掉落的,只要拥有此卡,便可以捡取(只能捡取敌方掉落的哦)。此卡仅限于娱乐服内使用。
  博派火种源:1.使用后您在游戏中可变身为擎天柱; 2.在变身以及击杀敌人时均有绚丽效果显示; 3.本皮肤附带赠送酷炫手刃模型一个; 4.搭配黄金AK、裁决者或火焰狙击使用该皮肤,将有变形金刚手臂模型特殊效果; 5.按E使用道具,***专用; 6.本道具仅在娱乐服使用.
  武器专家卡:1.拥有此卡,进入娱乐服务器后,即拥有了黄金AK,裁决者M4,火焰AWP三款***械皮肤。2.使用武器专家卡,进入服务器将提示:迎资深的武器收藏家XXX进入服务器。 3.仅限于娱乐服使用。
  三雷卡:可以携带最多3个手雷,不增加烟雾和闪光。本卡与【双雷卡】同时使用可达到【手雷X5】的效果!仅在娱乐服务器可以使用!
  畅游卡月卡(限卖1000张):一卡在手,畅游娱乐服(包括:VIP月卡+富翁月卡+转移月卡+双***月卡+极光雷月卡+三雷月卡+双雷月卡+淘宝月卡+武器专家【娱乐】月卡+以后推出新的娱乐具)。
  双雷卡:可以携带最多2个手雷,不增加烟雾和闪光。本卡与【三雷卡】同时使用可达到【手雷X5】的效果!仅在娱乐服务器可以使用
  富:你幻想过你在服务器里每场比赛开始时都是满钱吗?哈哈,现在有了,只要你拥有了这个卡,你就是我们服务器里的富翁了,游戏中几乎每局您都拥有16000元金钱,再也不用愁没钱给自己和队友们买***了。混战服,娱乐服有效。
  裁决者卡:公元2009年,来自175pt的呼唤,谁才是真正的裁决者?经典M4,寒光包围,尽显独一无二的魅力。将普通M4皮肤变为白银M4皮肤,该道具在混战服、娱乐服、死亡服有效。
  黄金AK:1. 玩家使用道具后进入服务器可以使用黄金AK,成为黄金战士. 2. 使用黄金卡进入服务器提示“欢迎黄金战士×××进入战斗” 3. 黄金战士进入服务器选择角色出生后有绚彩色的光芒。 4. 黄金战士死后***掉落也是金***。其他玩家可以捡取,捡取后恢复原样。仅限混战服、娱乐服、死亡服使用
  表情卡:CS中的喜怒哀乐,无法用语言来表达,快快使用表情卡,与队友分享你的CS心情。使用方法:按Y输入haha(开心)555(哭泣)777(生气)bs(鄙视)
  95式步***:1. 玩家使用道具后在游戏服务器里中依次按J43或输入/95可以购买黄金95式步***,成为爱国者。 2. 右键可发射***榴弹(消耗手雷,没有手雷无法发射榴弹) 3. 使用黄金95式步***卡进入服务器提示“欢迎资深的【武器收藏家】[95步***]***进入服务器” 4. 可在混战、娱乐服、死亡服中使用
  (非卖品):1.玩家使用道具后,进入服务器购买了沙漠之鹰即显示金***。2.黄金沙鹰掉落在地上会有金***的光芒。3.死后掉落的黄金沙鹰,其他玩家可以捡取,但捡取后黄金效果消失。仅限于:混战服、娱乐服、死亡服使用。官方特定活动赠送。
  火焰狙击卡:激烈的征战、无情的火花、死去的冤魂唤醒了封印在火焰山中的火焰。将普通AWP皮肤改为火焰AWP皮肤,不一样的视觉冲击,不一样的尊贵显示。在混战服、娱乐服、死亡服有效。
  武器专家卡(混战):1.拥有此卡,进入混战服务器后,将可以购买黄金AK,裁决者M4,火焰AWP三款***械中任意一款。 2.使用武器专家卡,进入服务器将提示:欢迎武器专家XXX进入服务器。 3.仅限于混战服使用
  转移卡:战友呼叫您加入他的***或者土匪队伍,而此时一方已经人满转不进去...您幻想过能在服务器里面随心所欲想进哪个队就能进哪个队吗?现在可以,只要您拥有转移卡,您就可以想进哪就进哪了。 使用方法:在游戏里使用“Y”键输入“menu”,然后选择“使用道具”。在混战服、娱乐服、死亡服有效
  畅游卡(限卖1750张):一卡在手,畅游混战服(包括:VIP月卡+富翁卡月卡+转移卡月卡+黄金AK月卡+裁决者月卡+火焰AWP月卡+95式自动步***月卡+装备卡月卡+表情卡月卡+道具有效期内可以免费使用以后推出新的混战服道具)。
  装备卡:拥有此卡自动配发武器。每副地图第三局开始将根据所选择的阵营自动配发M4套装(M4+沙鹰+防弹衣+头盔+手雷)或AK套装(AK47+沙鹰+防弹衣+头盔+手雷),该道具在混战服、娱乐服有效。
  血量恢复卡:每秒钟自动恢复10点生命防弹衣。仅限死亡F使用。
  连跳卡:可在游戏1次跳跃的基础上再跳跃1次,限死亡服使用
  无限子弹卡:不需要换子弹,拥有无限子弹的功能 (AWP除外)。仅限死亡F使用
  畅游卡:一卡在手,畅游死亡服。此卡包含有效期内所有死亡服道具。此卡仅限死亡服使用。
  无限手雷卡:每30秒将自动获得手雷一颗,无叠加效果,仅限死亡服使用
  极光雷:拥有该道具的用户扔手雷会出现彩色拖尾。手雷爆炸会出现炫丽的极光特效,原有伤害值不变;仅限死亡服使用
  淘宝卡:拥有此卡可以捡取服务器内掉落的“宝箱”以获取额外的奖励,此卡仅限于CS1.6死亡服内使用。
  存储卡:拥有了该道具之后,你不用再担心服务器换图之后,金钱和游戏内购买的卡片重新计算了,让你游戏更放心,杀人更畅顺!只保存离开同一服务器未超过20分钟的用户数据(包括金钱和游戏内购买的卡片)。仅限死亡模式使用
  双***卡:使用者可以同时拥有2把主武器;此卡仅限于CS1.6死亡服内使用。
  聚宝卡:拥有该道具的用户对敌人造成伤害每累计达到600,即可获得额外块3000游戏金钱奖励;此卡仅限死亡模式使用
  武器专家卡:1.拥有此卡,进入死亡服务器后,将可以购买黄金AK,裁决者M4,火焰AWP三款***械中任意一款。 2.使用武器专家卡,进入服务器将提示:欢迎武器专家XXX进入服务器。 3.仅限于死亡服使用
  立即复活卡:无需等待,可直接复活,限死亡服使用
  金钱双倍卡:拥有此卡的用户,在进入游戏服务器、杀敌时可获得双倍的游戏金钱奖励;此卡仅限于CS1.6死亡服内使用。
  保护卡:死后复活时,保护时间延长至5秒,限死亡服使用。
  弹药炫彩卡:拥有此卡的用户,在游戏内打出的子弹拥有绚丽的拖尾效果;此卡仅限于CS1.6死亡服内使用。
为本词条添加和相关影像
互动百科的词条(含所附图片)系由网友上传,如果涉嫌侵权,请与***联系,我们将按照法律之相关规定及时进行处理。未经许可,禁止商业网站等复制、抓取本站内容;合理使用者,请注明来源于。
登录后使用互动百科的服务,将会得到个性化的提示和帮助,还有机会和专业认证智愿者沟通。
您也可以使用以下网站账号登录:
此词条还可添加&
编辑次数:3次
参与编辑人数:3位
最近更新时间: 16:42:00
贡献光荣榜Spark、Shark集群***部署及遇到的问题解决 - 服务器负载均衡 - 次元立方网 - 电脑知识与技术互动交流平台
Spark、Shark集群***部署及遇到的问题解决
1.部署环境
OS:Red Hat Enterprise
Server release 6.4 (Santiago)
Hadoop:Hadoop 2.4.1
Hive:0.11.0
JDK:1.7.0_60
Python:2.6.6(spark集群需要python2.6以上,否则无法在spark集群上运行py)
Spark:0.9.1(最新版是1.0.2)
Shark:0.9.1(目前最新的版本,但是只能够兼容到spark-0.9.1,见shark 0.9.1 release)
Zookeeper:2.3.5(配置HA时使用,Spark HA配置参见我的博文:Spark:Master High Availability(HA)高可用配置的2种实现)
Scala:2.11.2
2.Spark集群规划
账户:ebupt
master:eb174
slaves:eb174、eb175、eb176
#生成公钥和私钥
ssh-keygen -q -t rsa -N "" -f /home/ebupt/.ssh/id_rsa
cat id_rsa.pub & authorized_keys
chmod go-wx authorized_keys
#把文件authorized_keys复制到所有子节点的/home/ebupt/.ssh目录下
scp ~/.ssh/authorized_keys ebupt@eb175:~/.ssh/
scp ~/.ssh/authorized_keys ebupt@eb176:~/.ssh/
另一个简单的方法:
由于实验室集群eb170可以ssh到所有的机器,因此直接拷贝eb170的~/.ssh/所有文件到eb174的~/.ssh/中。这样做的好处是不破坏原有的eb170的ssh免登陆。
[ebupt@eb174 ~]$rm ~/.ssh/*
[ebupt@eb170 ~]$scp -r ~/.ssh/ ebupt@eb174:~/.ssh/
4.部署scala,完全拷贝到所有节点
tar zxvf scala-2.11.2.tgz
ln -s /home/ebupt/eb/scala-2.11.2 ~/scala
vi ~/.bash_profile
#添加环境变量
export SCALA_HOME=$HOME/scala
export PATH=$PATH:$SCALA_HOME/bin
通过scala &version便可以查看到当前的scala版本,说明scala***成功。
[ebupt@eb174 ~]$ scala -versionScala code runner version 2.11.2 -- Copyright , LAMP/EPFL
5.***spark,完全拷贝到所有节点
解压建立软连接,配置环境变量,略。
[ebupt@eb174 ~]$ vi spark/conf/slaves&
#add the slaves
[ebupt@eb174 ~]$ vi spark/conf/spark-env.sh&
export SCALA_HOME=/home/ebupt/scala
export J***A_HOME=/home/ebupt/eb/jdk1.7.0_60
export SPARK_MASTER_IP=eb174
export SPARK_WORKER_MEMORY=4000m
6.***shark,完全拷贝到所有节点
解压建立软连接,配置环境变量,略。
[ebupt@eb174 ~]$ vi shark/conf/shark-env.sh&
export SPARK_MEM=1g
# (Required) Set the master program's memory
export SHARK_MASTER_MEM=1g
# (Optional) Specify the location of Hive's configuration directory. By default,
# Shark run scripts will point it to $SHARK_HOME/conf
export HIVE_HOME=/home/ebupt/hive
export HIVE_CONF_DIR="$HIVE_HOME/conf"
# For running Shark in distributed mode, set the following:
export HADOOP_HOME=/home/ebupt/hadoop
export SPARK_HOME=/home/ebupt/spark
export MASTER=spark://eb174:7077
# Only required if using Mesos:
#export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so
source $SPARK_HOME/conf/spark-env.sh
#LZO compression native lib
export LD_LIBRARY_PATH=/home/ebupt/hadoop/share/hadoop/common
# (Optional) Extra classpath
export SPARK_LIBRARY_PATH=/home/ebupt/hadoop/lib/native
# Java options
# On EC2, change the local.dir to /mnt/tmp
SPARK_J***A_OPTS=" -Dspark.local.dir=/tmp "
SPARK_J***A_OPTS+="-Dspark.kryoserializer.buffer.mb=10 "
SPARK_J***A_OPTS+="-verbose:gc -XX:-PrintGCDetails -XX:+PrintGCTimeStamps "
SPARK_J***A_OPTS+="-XX:MaxPermSize=256m "
SPARK_J***A_OPTS+="-Dspark.cores.max=12 "
export SPARK_J***A_OPTS
# (Optional) Tachyon Related Configuration
#export TACHYON_MASTER="" # e.g. "localhost:19998"
#export TACHYON_WAREHOUSE_PATH=/sharktables # Could be any valid path name
export SCALA_HOME=/home/ebupt/scala
export J***A_HOME=/home/ebupt/eb/jdk1.7.0_60
7.同步到slaves的脚本
7.1 master(eb174)的~/.bash_profile
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH
export J***A_HOME=/home/ebupt/eb/jdk1.7.0_60
export PATH=$J***A_HOME/bin:$PATH
export CLASSPATH=.:$CLASSPATH:$J***A_HOME/lib/dt.jar:$J***A_HOME/lib/tools.jar
export HADOOP_HOME=$HOME/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export ZOOKEEPER_HOME=$HOME/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
export HIVE_HOME=$HOME/hive
export PATH=$HIVE_HOME/bin:$PATH
export HBASE_HOME=$HOME/hbase
export PATH=$PATH:$HBASE_HOME/bin
export M***EN_HOME=$HOME/eb/apache-maven-3.0.5
export PATH=$PATH:$M***EN_HOME/bin
export STORM_HOME=$HOME/storm
export PATH=$PATH:$STORM_HOME/storm-yarn-master/bin:$STORM_HOME/storm-0.9.0-wip21/bin
export SCALA_HOME=$HOME/scala
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=$HOME/spark
export PATH=$PATH:$SPARK_HOME/bin
export SHARK_HOME=$HOME/shark
export PATH=$PATH:$SHARK_HOME/bin
7.2 同步脚本:syncInstall.sh
scp -r /home/ebupt/eb/scala-2.11.2 ebupt@eb175:/home/ebupt/eb/
scp -r /home/ebupt/eb/scala-2.11.2 ebupt@eb176:/home/ebupt/eb/
scp -r /home/ebupt/eb/spark-1.0.2-bin-hadoop2 ebupt@eb175:/home/ebupt/eb/
scp -r /home/ebupt/eb/spark-1.0.2-bin-hadoop2 ebupt@eb176:/home/ebupt/eb/
scp -r /home/ebupt/eb/spark-0.9.1-bin-hadoop2 ebupt@eb175:/home/ebupt/eb/
scp -r /home/ebupt/eb/spark-0.9.1-bin-hadoop2 ebupt@eb176:/home/ebupt/eb/
scp ~/.bash_profile ebupt@eb175:~/
scp ~/.bash_profile ebupt@eb176:~/
7.3 配置脚本:build.sh
#!/bin/bash
source ~/.bash_profile
ssh eb175 & /dev/null 2&&1 && eeooff
ln -s /home/ebupt/eb/scala-2.11.2/ /home/ebupt/scala
ln -s /home/ebupt/eb/spark-0.9.1-bin-hadoop2/ /home/ebupt/spark
ln -s /home/ebupt/eb/shark-0.9.1-bin-hadoop2/ /home/ebupt/shark
source ~/.bash_profile
echo eb175 done!
ssh eb176 & /dev/null 2&&1 && eeooffxx
ln -s /home/ebupt/eb/scala-2.11.2/ /home/ebupt/scala
ln -s /home/ebupt/eb/spark-0.9.1-bin-hadoop2/ /home/ebupt/spark
ln -s /home/ebupt/eb/shark-0.9.1-bin-hadoop2/ /home/ebupt/shark
source ~/.bash_profile
echo eb176 done!
8 遇到的问题及其解决办法
8.1 ***shark-0.9.1和spark-1.0.2时,运行shark shell,执行sql报错。
shark& select *
17.096: [Full GC 71198K-&2K), 0.3150970 secs]
Exception in thread "main" java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$SetOwnerRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldS
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2531)
at java.lang.Class.privateGetPublicMethods(Class.java:2651)
at java.lang.Class.privateGetPublicMethods(Class.java:2661)
at java.lang.Class.getMethods(Class.java:1467)
at sun.misc.ProxyGenerator.generateClassFile(ProxyGenerator.java:426)
at sun.misc.ProxyGenerator.generateProxyClass(ProxyGenerator.java:323)
at java.lang.reflect.Proxy.getProxyClass0(Proxy.java:636)
at java.lang.reflect.Proxy.newProxyInstance(Proxy.java:722)
at org.apache.hadoop.ipc.ProtobufRpcEngine.getProxy(ProtobufRpcEngine.java:92)
at org.apache.hadoop.ipc.RPC.getProtocolProxy(RPC.java:537)
at org.apache.hadoop.hdfs.NameNodeProxies.createNNProxyWithClientProtocol(NameNodeProxies.java:334)
at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:241)
at org.apache.hadoop.hdfs.NameNodeProxies.createProxy(NameNodeProxies.java:141)
at org.apache.hadoop.hdfs.DFSClient.&init&(DFSClient.java:576)
at org.apache.hadoop.hdfs.DFSClient.&init&(DFSClient.java:521)
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:146)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2397)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2431)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2413)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
at org.apache.hadoop.hive.ql.Context.getScratchDir(Context.java:180)
at org.apache.hadoop.hive.ql.Context.getMRScratchDir(Context.java:231)
at org.apache.hadoop.hive.ql.Context.getMRTmpFileURI(Context.java:288)
at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getMetaData(SemanticAnalyzer.java:1274)
at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.getMetaData(SemanticAnalyzer.java:1059)
at shark.parse.SharkSemanticAnalyzer.analyzeInternal(SharkSemanticAnalyzer.scala:137)
at org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:279)
at pile(SharkDriver.scala:215)
at org.apache.hadoop.hive.pile(Driver.java:337)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:909)
at shark.SharkCliDriver.processCmd(SharkCliDriver.scala:338)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413)
at shark.SharkCliDriver$.main(SharkCliDriver.scala:235)
at shark.SharkCliDriver.main(SharkCliDriver.scala)
原因:不知道它在说什么,大概是说&protobuf&版本有问题.
解决:找到 jar 包 &hive-exec-0.11.0-shark-0.9.1.jar& 在$SHARK_HOME/lib_managed/jars/edu.berkeley.cs.shark/hive-exec, 删掉有关protobuf,重新打包,该报错不再有,脚本如下所示。
cd $SHARK_HOME/lib_managed/jars/edu.berkeley.cs.shark/hive-exec
unzip hive-exec-0.11.0-shark-0.9.1.jar
rm -f com/google/protobuf/*
hive-exec-0.11.0-shark-0.9.1.jar
zip -r hive-exec-0.11.0-shark-0.9.1.jar *
rm -rf com hive-exec-log4j.properties javaewah/ javax/ javolution/ META-INF/ org/
8.2&&***shark-0.9.1和spark-1.0.2时,spark集群正常运行,跑一下简单的job也是可以的,但是shark的job始终出现Spark cluster looks dead, giving up. 在运行shark-shell(shark-withinfo )时,都会看到连接不上spark的master。报错类似如下:
shark& select * from t1;
16.452: [GC 282770K-&38K), 0.0388780 secs]
org.apache.spark.SparkException: Job aborted: Spark cluster looks down
at org.apache.spark.scheduler.DAGScheduler$$anonfun$org$apache$spark$scheduler$DAGScheduler$$abortStage$1.apply(DAGScheduler.scala:1028)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$org$apache$spark$scheduler$DAGScheduler$$abortStage$1.apply(DAGScheduler.scala:1026)
at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)
at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$abortStage(DAGScheduler.scala:1026)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$processEvent$10.apply(DAGScheduler.scala:619)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$processEvent$10.apply(DAGScheduler.scala:619)
at scala.Option.foreach(Option.scala:236)
at org.apache.spark.scheduler.DAGScheduler.processEvent(DAGScheduler.scala:619)
at org.apache.spark.scheduler.DAGScheduler$$anonfun$start$1$$anon$2$$anonfun$receive$1.applyOrElse(DAGScheduler.scala:207)
at akka.actor.ActorCell.receiveMessage(ActorCell.scala:498)
at akka.actor.ActorCell.invoke(ActorCell.scala:456)
at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:237)
at akka.dispatch.Mailbox.run(Mailbox.scala:219)
at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:386)
at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
FAILED: Execution Error, return code -101 from shark.execution.SparkTask
原因:网上有很多人遇到同样的问题,spark集群是好的,但是shark就是不能够很好的运行。查看shark-0.9.1的release发现
Release date: April 10, 2014
Shark 0.9.1 is a maintenance release that stabilizes 0.9.0, which bumps up Scala compatibility to 2.10.3 and Hive compliance to 0.11. The core dependencies for this version are:
Scala 2.10.3
Spark 0.9.1
AMPLab&s Hive 0.9.0
(Optional) Tachyon 0.4.1
这是因为shark版本只兼容到spark-0.9.1,版本不兼容导致无法找到spark集群的master服务。
解决:回退spark版本到spark-0.9.1,scala版本不用回退。回退后运行正常。
9.集群成功运行
9.1测试spark集群
./spark/bin/run-example org.apache.spark.examples.SparkPi spark://eb174:7077
9.2 Spark Master UI:http://eb174:8080/
10 参考资料
Apache Spark
Apache Shark
Shark***部署与应用
Spark github
Shark github
Spark 0.9.1和Shark 0.9.1分布式***指南
google group-shark users
Beyond Big Data
延伸阅读:
目前生产环境的es版本是1 0版本,需要升级到最新的2...
本教程为 李华明 编著的iOS-Cocos2d游戏开发系列教程:教程涵盖关于i......
专题主要学习DirectX的初级编程入门学习,对Directx11的入门及初学者有......
&面向对象的JavaScript&这一说法多少有些冗余,因为JavaScript 语言本......
Windows7系统专题 无论是升级操作系统、资料备份、加强资料的安全及管......

参考资料

 

随机推荐