December 2013

记一次 Hadoop/Hive 结点不工作的问题

最近工作中遇到的问题,简单记录下。 工作中用到了 Hadoop/Hive,但是搭建的集群硬件配置很差,磁盘空间严重不足。我只好先找了台虚拟机,暂时凑合着用一下,好歹硬盘算是够用了。 但是没过两天,发现用 Hive 执行 HiveQL 语句时,经常出现下面的错误: Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive-hduser/hive_2013-11-26_13-14-51_742_5228871571450845489/_task_tmp.-ext-10002/_tmp.000003_0 could…

Read More

「自以为是」的 /tmp overflow

今天又重新搭建了一遍 Hadoop 和 Hive 运行环境,搭建过程中虽然遇到不少问题,但几乎都是之前已经遇到过的,算是都轻易化解了。但是,最后在测试 Hive 环境时,遇到了问题。 在 Hive 的终端下,执行 show tables,错误信息如下: hive> show tables;…

Read More