MapReduce FSDataOutputStream 写数据有误
最近工作中遇到的问题，简单记录下。 问题的情形是这样的： 由于需要用到 MapReduce 的 task side-effect files特性，在写 side-effect 文件时，用到了 FSDataOutputStream 类的 writeUTF() 方法。问题在于用 FSDataOutputStream.writeUTF()…
Read Morebeta4x
用 Java SDK 将收藏的微博转存到印象笔记
从 2011 年开始用新浪微博至今，收藏了不少微博。最近打算把所收藏的微博全部转存到印象笔记中去。 印象笔记提供了一种很便捷的方式，让用户能很方便地保存某条微博。用户将自己的印象笔记账号和新浪微博账号关联起来后，可以通过「@我的印象笔记」的方式很方便地保存自己或别人的微博。具体可以看印象笔记的官方帮助。 如何把自己收藏的微博全部转存到印象笔记中去呢？我的想法是这样的：对于自己收藏的每条微博， 评论它，评论内容为「@我的印象笔记」，这样就完成了微博的保存工作。 删除自己刚才的评论。这是因为「@我的印象笔记」这样的评论内容对于其他人（发微博的人、看这条微博评论的其他人）来说，没有任何意义，属于信息噪音。删除评论，以减少对他人的干扰。 取消对那条微博的收藏。因为微博已经转存好了，留着收藏没有必要。 代码已经写好，用的是新浪微博提供的 Java SDK，代码依旧放在 GitHub 上面，项目名称是 weibo-yinxiang-java。之所以项目名称后面带了 -java…
Read More新浪微博 OAuth2.0 接口认证之 Java 版
最近需要用新浪微博的开放平台写个程序，首当其冲的就是程序的接口认证问题。这里正式记录下。 接口认证的直接目标是获取 access_token 值。应用程序通过 access_token 访问用户的微博账号：读取 timeline、读取用户收藏的微博、发表评论…… 首先是安装和配置。 去新浪微博的开放平台注册应用程序，注册成功后，需要用到该应用的以下信息：App Key、App Secret、授权回调页（填写一个可访问的网址即可，eg. https://pingx.sh）。 下载新浪微博提供的 Java SDK，我这里使用的版本是…
Read MoreGentoo Linux 下 upowerd 进程 CPU 占用率过高
最近几天遇到的问题，今天终于找到解决方法。现在正式记录下。 问题的症状是这样的： 当系统比较繁忙时（eg. Chromium 开了很多个标签页，Chromium 异常关闭重启后有多个标签页需要恢复，开着 Eclipse 时……），X 有时侯会被卡死，鼠标、键盘都没有响应。但是，Ctrl+Alt+F1 等进入 TTY 终端时，系统正常可用，且没有卡顿。用 top 命令查看，发现 upowerd…
Read More用 Python 脚本从「IT 公论」下载 podcast
之前写过从 Teahour.FM 下载 podcast 的博客，最近有空听了其中一部分，觉得质量还不错。 另外，近期又发现了一个新的 podcast，叫「IT 公论」，主题是科技方面的。看了这个 podcast 的介绍页面，感觉应该不错，于是便打算下载下来。 由于上次写的代码里，下载部分的代码是完全可以复用的，所以整个过程还是相当顺利的。这次处理的重点在下载链接（.mp3 文件）的获取上，因为「IT 公论」的音频下载链接并不像 Teahour.FM 那么有规律，因此还需要用正则表达式来获取。…
Read MoreLinux 运维之 SSH 安全
每次在自己的 VPS 上，用 Vim 查看 /var/log/auth.log 日志，总能看到一行行登陆失败信息：都是攻击者企图暴力破解密码、尝试末遂的错误信息。 该如何应对这种针对 SSH 服务的攻击呢？总结下我的做法吧。 修改 sshd 配置 说明： Linux…
Read MoreY400 Linux 驱动折腾记
手头的这台 Lenovo IdeaPad Y400 是去年买的，美行，在淘宝上代购的。原因是旧电脑更新换代，原来的那台联想 F41M 实在是太慢了（2G 内存，而且由于主板限制，内存无法扩容）。买之前就决定操作系统要装 Gentoo。 最终的事实证明，买这台电脑是无比糟糕的选择：从买回这台电脑到现在，我至少有一半的时间都在用旧电脑，而新电脑则躺在电脑包里睡大觉，因为根本就没法用。 至于原因嘛，简单地说，是因为 Y400 的 Linux 驱动问题。…
Read Morenetstat bug 一枚
这篇博客是为了填上篇的坑。内容是关于 netstat 的 bug（至少我认为是 bug） 及应对方法。 尽量准确地描述这个 bug：在有进程 fork()、导致父子进程都占用同一个端口的情况下，netstat 不显示子进程对该端口的占用。 测试代码及运行方法详见上篇博客，这里不再赘述。直接贴 bug 现象： # netstat…
Read MoreLinux 进程 fork() 与端口重复占用问题
最近工作中遇到的问题，现在记录下。 直接上 C++ 代码（为了更清晰地描述问题，代码有所简化，能说明问题即可），源文件为 fork_test.cpp： #include <sys/wait.h> #include <sys/types.h> #include <sys/socket.h> #include <arpa/inet.h> #include <iostream>…
Read MoreHTTP 文件下载的几个特性及实现
上篇博客是对从 Teahour.FM 下载 podcast 的简单记录，其中提到了那个下载程序支持某些「高级」特性：多线程、断点续传、超时重传。其实，这些特性大家也经常会听到，因为很多专业的下载工具都支持。 如何实现这些特性呢？技术上并不复杂。接下来，我就抛砖引玉，写一下自己的认识。如果有写得不对或不准确的地方，请指正。 需要注意的是： 下面的讨论仅适用于 HTTP 协议的文件下载，其它协议不在讨论之列。 下面的讨论重原理轻实现，你可以选择用自己熟悉的编程语言去实现这些特性。我用的是 Python 3（主要用 urllib 和…
Read More