MapReduce MultithreadedMapper 特性简述
在写 MapReduce 程序时，mapper/reducer 与进程在概念上的对应关系是这样的： 一个 mapper/reducer，对应一个 map/reduce task，对应一个 JVM，对应一个进程。也就是说，在一个 JVM 进程里只能运行一个 mapper/reducer。 其中，mapper 类总是必不可少的。实际上，MapReduce API…
Read MoreLinux
MapReduce FSDataOutputStream 写数据有误
最近工作中遇到的问题，简单记录下。 问题的情形是这样的： 由于需要用到 MapReduce 的 task side-effect files特性，在写 side-effect 文件时，用到了 FSDataOutputStream 类的 writeUTF() 方法。问题在于用 FSDataOutputStream.writeUTF()…
Read MoreGentoo Linux 下 upowerd 进程 CPU 占用率过高
最近几天遇到的问题，今天终于找到解决方法。现在正式记录下。 问题的症状是这样的： 当系统比较繁忙时（eg. Chromium 开了很多个标签页，Chromium 异常关闭重启后有多个标签页需要恢复，开着 Eclipse 时……），X 有时侯会被卡死，鼠标、键盘都没有响应。但是，Ctrl+Alt+F1 等进入 TTY 终端时，系统正常可用，且没有卡顿。用 top 命令查看，发现 upowerd…
Read MoreLinux 运维之 SSH 安全
每次在自己的 VPS 上，用 Vim 查看 /var/log/auth.log 日志，总能看到一行行登陆失败信息：都是攻击者企图暴力破解密码、尝试末遂的错误信息。 该如何应对这种针对 SSH 服务的攻击呢？总结下我的做法吧。 修改 sshd 配置 说明： Linux…
Read MoreY400 Linux 驱动折腾记
手头的这台 Lenovo IdeaPad Y400 是去年买的，美行，在淘宝上代购的。原因是旧电脑更新换代，原来的那台联想 F41M 实在是太慢了（2G 内存，而且由于主板限制，内存无法扩容）。买之前就决定操作系统要装 Gentoo。 最终的事实证明，买这台电脑是无比糟糕的选择：从买回这台电脑到现在，我至少有一半的时间都在用旧电脑，而新电脑则躺在电脑包里睡大觉，因为根本就没法用。 至于原因嘛，简单地说，是因为 Y400 的 Linux 驱动问题。…
Read Morenetstat bug 一枚
这篇博客是为了填上篇的坑。内容是关于 netstat 的 bug（至少我认为是 bug） 及应对方法。 尽量准确地描述这个 bug：在有进程 fork()、导致父子进程都占用同一个端口的情况下，netstat 不显示子进程对该端口的占用。 测试代码及运行方法详见上篇博客，这里不再赘述。直接贴 bug 现象： # netstat…
Read MoreLinux 进程 fork() 与端口重复占用问题
最近工作中遇到的问题，现在记录下。 直接上 C++ 代码（为了更清晰地描述问题，代码有所简化，能说明问题即可），源文件为 fork_test.cpp： #include <sys/wait.h> #include <sys/types.h> #include <sys/socket.h> #include <arpa/inet.h> #include <iostream>…
Read More记一次 Hadoop/Hive 结点不工作的问题
最近工作中遇到的问题，简单记录下。 工作中用到了 Hadoop/Hive，但是搭建的集群硬件配置很差，磁盘空间严重不足。我只好先找了台虚拟机，暂时凑合着用一下，好歹硬盘算是够用了。 但是没过两天，发现用 Hive 执行 HiveQL 语句时，经常出现下面的错误： Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive-hduser/hive_2013-11-26_13-14-51_742_5228871571450845489/_task_tmp.-ext-10002/_tmp.000003_0 could…
Read More「自以为是」的 /tmp overflow
今天又重新搭建了一遍 Hadoop 和 Hive 运行环境，搭建过程中虽然遇到不少问题，但几乎都是之前已经遇到过的，算是都轻易化解了。但是，最后在测试 Hive 环境时，遇到了问题。 在 Hive 的终端下，执行 show tables，错误信息如下： hive> show tables;…
Read More