Psycopg2 操作 PostgreSQL 数据库踩坑记
注：本文适用于 Python 3 环境。 最近工作中需要用到 Python 来操作 PostgreSQL 数据库，最终选用的是 Psycopg2 库。关于具体如何用 Psycopg2 来操作 PostgreSQL，本文不再赘述。这里只记录自己踩过的坑。 连接数据库时的编码问题…
Read More2014
MySQL 终端下无法输入中文
最近工作中遇到的问题，简单记录下。 问题的情形是这样的： 从本地 SSH 到服务器 A，在 A 上用 MySQL 客户端连接服务器 B 的 MySQL 数据库。但是在执行 SQL…
Read MoreAwk 获取输入所在的文件名
之前一篇博客提到了在 Hadoop 程序中如何获取 input split 所在的文件名。其实，写 Awk 程序时，也可能有同样的需求。那么，Awk 是如何处理的呢？ Awk 提供了一个内置变量 FILENAME，表示被读取文件的绝对路径。 闲话少说，直接上示例代码： cat /dev/null…
Read MoreHadoop 程序获取 input split 所在的文件名
在写 Hadoop 程序时，有时侯需要从文件名中提取某些信息，比如说文件名中可能包含有时间戳。下面，就针对这种需求，谈谈在 Hadoop 程序中该怎么做。 在用 Java 写的 MapReduce 程序中 MapReduce 的 mapper 类的 map()…
Read MoreMapReduce 程序调试心得
相信用 Java 写过稍微大型点儿的 MapReduce 程序的朋友都有体会，MapReduce 程序调试起来并不方便。粗略想了一下，原因大概有以下两点： MapReduce 的处理思路增加了数据流的环节。 按照 MapReduce 的思想，业务逻辑在实现时，被人为地拆分成了 map 和 reduce 两个不同的阶段，两个阶段需要通过…
Read MoreMapReduce MultithreadedMapper 特性简述
在写 MapReduce 程序时，mapper/reducer 与进程在概念上的对应关系是这样的： 一个 mapper/reducer，对应一个 map/reduce task，对应一个 JVM，对应一个进程。也就是说，在一个 JVM 进程里只能运行一个 mapper/reducer。 其中，mapper 类总是必不可少的。实际上，MapReduce API…
Read MoreMapReduce FSDataOutputStream 写数据有误
最近工作中遇到的问题，简单记录下。 问题的情形是这样的： 由于需要用到 MapReduce 的 task side-effect files特性，在写 side-effect 文件时，用到了 FSDataOutputStream 类的 writeUTF() 方法。问题在于用 FSDataOutputStream.writeUTF()…
Read More用 Java SDK 将收藏的微博转存到印象笔记
从 2011 年开始用新浪微博至今，收藏了不少微博。最近打算把所收藏的微博全部转存到印象笔记中去。 印象笔记提供了一种很便捷的方式，让用户能很方便地保存某条微博。用户将自己的印象笔记账号和新浪微博账号关联起来后，可以通过「@我的印象笔记」的方式很方便地保存自己或别人的微博。具体可以看印象笔记的官方帮助。 如何把自己收藏的微博全部转存到印象笔记中去呢？我的想法是这样的：对于自己收藏的每条微博， 评论它，评论内容为「@我的印象笔记」，这样就完成了微博的保存工作。 删除自己刚才的评论。这是因为「@我的印象笔记」这样的评论内容对于其他人（发微博的人、看这条微博评论的其他人）来说，没有任何意义，属于信息噪音。删除评论，以减少对他人的干扰。 取消对那条微博的收藏。因为微博已经转存好了，留着收藏没有必要。 代码已经写好，用的是新浪微博提供的 Java SDK，代码依旧放在 GitHub 上面，项目名称是 weibo-yinxiang-java。之所以项目名称后面带了 -java…
Read More新浪微博 OAuth2.0 接口认证之 Java 版
最近需要用新浪微博的开放平台写个程序，首当其冲的就是程序的接口认证问题。这里正式记录下。 接口认证的直接目标是获取 access_token 值。应用程序通过 access_token 访问用户的微博账号：读取 timeline、读取用户收藏的微博、发表评论…… 首先是安装和配置。 去新浪微博的开放平台注册应用程序，注册成功后，需要用到该应用的以下信息：App Key、App Secret、授权回调页（填写一个可访问的网址即可，eg. https://pingx.sh）。 下载新浪微博提供的 Java SDK，我这里使用的版本是…
Read MoreGentoo Linux 下 upowerd 进程 CPU 占用率过高
最近几天遇到的问题，今天终于找到解决方法。现在正式记录下。 问题的症状是这样的： 当系统比较繁忙时（eg. Chromium 开了很多个标签页，Chromium 异常关闭重启后有多个标签页需要恢复，开着 Eclipse 时……），X 有时侯会被卡死，鼠标、键盘都没有响应。但是，Ctrl+Alt+F1 等进入 TTY 终端时，系统正常可用，且没有卡顿。用 top 命令查看，发现 upowerd…
Read More