2014

Awk 获取输入所在的文件名

之前一篇博客提到了在 Hadoop 程序中如何获取 input split 所在的文件名。其实,写 Awk 程序时,也可能有同样的需求。那么,Awk 是如何处理的呢? Awk 提供了一个内置变量 FILENAME,表示被读取文件的绝对路径。 闲话少说,直接上示例代码: cat /dev/null…

Read More

MapReduce 程序调试心得

相信用 Java 写过稍微大型点儿的 MapReduce 程序的朋友都有体会,MapReduce 程序调试起来并不方便。粗略想了一下,原因大概有以下两点: MapReduce 的处理思路增加了数据流的环节。 按照 MapReduce 的思想,业务逻辑在实现时,被人为地拆分成了 map 和 reduce 两个不同的阶段,两个阶段需要通过…

Read More

用 Java SDK 将收藏的微博转存到印象笔记

从 2011 年开始用新浪微博至今,收藏了不少微博。最近打算把所收藏的微博全部转存到印象笔记中去。 印象笔记提供了一种很便捷的方式,让用户能很方便地保存某条微博。用户将自己的印象笔记账号和新浪微博账号关联起来后,可以通过「@我的印象笔记」的方式很方便地保存自己或别人的微博。具体可以看印象笔记的官方帮助。 如何把自己收藏的微博全部转存到印象笔记中去呢?我的想法是这样的:对于自己收藏的每条微博, 评论它,评论内容为「@我的印象笔记」,这样就完成了微博的保存工作。 删除自己刚才的评论。这是因为「@我的印象笔记」这样的评论内容对于其他人(发微博的人、看这条微博评论的其他人)来说,没有任何意义,属于信息噪音。删除评论,以减少对他人的干扰。 取消对那条微博的收藏。因为微博已经转存好了,留着收藏没有必要。 代码已经写好,用的是新浪微博提供的 Java SDK,代码依旧放在 GitHub 上面,项目名称是 weibo-yinxiang-java。之所以项目名称后面带了 -java…

Read More

新浪微博 OAuth2.0 接口认证之 Java 版

最近需要用新浪微博的开放平台写个程序,首当其冲的就是程序的接口认证问题。这里正式记录下。 接口认证的直接目标是获取 access_token 值。应用程序通过 access_token 访问用户的微博账号:读取 timeline、读取用户收藏的微博、发表评论…… 首先是安装和配置。 去新浪微博的开放平台注册应用程序,注册成功后,需要用到该应用的以下信息:App Key、App Secret、授权回调页(填写一个可访问的网址即可,eg. https://pingx.sh)。 下载新浪微博提供的 Java SDK,我这里使用的版本是…

Read More

Gentoo Linux 下 upowerd 进程 CPU 占用率过高

最近几天遇到的问题,今天终于找到解决方法。现在正式记录下。 问题的症状是这样的: 当系统比较繁忙时(eg. Chromium 开了很多个标签页,Chromium 异常关闭重启后有多个标签页需要恢复,开着 Eclipse 时……),X 有时侯会被卡死,鼠标、键盘都没有响应。但是,Ctrl+Alt+F1 等进入 TTY 终端时,系统正常可用,且没有卡顿。用 top 命令查看,发现 upowerd…

Read More