続・ howm + ripgrep のちょっとした問題

前回 howm + ripgrep を使う上で発生する問題を考えました。
http://extra-vision.blogspot.jp/2016/11/howm-ripgrep.html

要約すると、ripgrep はマルチスレッドで並列検索を行なうため、howm-menu の「最近のメモ」の順番が狂ってしまう。-j1オプションを付けるととりあえずは回避できるが、シングルスレッド検索になるので、ripgrep の高速性を活かせない、というものでした。

まあ致命的な問題でもないし、それ以外の検索では ripgrep は十分速いので、最初は無視していたのですが、しかしどうにも気持ち悪いので何とかしてみました。

howm + ripgrep のちょっとした問題

少し前に howm で ripgrep を使う記事を書きました。
http://extra-vision.blogspot.jp/2016/10/ripgrep-howm.html

しかし使い初めてすぐに気付いたのですが、howm-menu に表示されるメモの順番がおかしくなるのです。

通常 howm-menu はメモファイルのタイムスタンプでソートし、最後に更新したメモ(の見出し)を一番上に表示してくれます。これがどうにもちゃんと順番が揃いません。更に howm-menu を表示する毎に、メモの順番が少しずつ変わます。

最初は何が起こっているのかさっぱり分かりませんでした。そこで読めない elisp を苦労してトレースしてみると、howm 自身はファイルのソートを正しく行ない、そのファイルリストを ripgrep に引数として渡しています。しかし ripgrep の出力結果が引数の順番通りになっていないのです。

Emacs のマニア度を判定する方法

Emacs で C-t を使うかどうかで習熟度が分かると言われています。キーストロークを節約するために C-t を使っている人は相当なハードユーザーです。

通常 C-t は transpose-chars というコマンドにバインドされていて、これは前後の二文字を入れ替えます。文字を入れ替えるタイプミスをしてしまった場合、C-t で修正する人は相当 Emacs を使い込んでいる人です。

Emacs 25.1 の isearch のちょっとした改良点

Emacs 25.1 もだんだん手に馴染んできました。24からあまり大きな変化は見られないというのが正直な感想ですが、細かいこところで地味な改良があるのを時々発見します。

isearch にもちょっとした改良が行なわれていました。以下の設定を init.el に追加します。

(setq search-default-mode #'char-fold-to-regexp)

こうしておくと、例えば isearch (C-s) で "(ダブルクォーテーション文字)を検索した場合、«» や ❝❞ 等の、非ASCIIで何となく同じ仲間の文字もヒットするようになります。

Emacs25 の package-selected-packages を何とかする

Emacs25 になって、インストールされたパッケージが package-selected-package 変数に保持されるようになりました。これはパッケージを削除する時などに依存性に矛盾が発生しないようにするために使われるようです。

パッケージを保持するだけならばいいのですが、問題は、M-x list-packages などを実行した時に、この値が init.el (まはた .emacs)の末尾に勝手に書き込まれてしまうことです。

次世代の高速検索ツール ripgrep を howm で使う

高速検索ツール ripgrep

以前、howm で ag (The Silver Searcher) を使う という記事を書きました。しかし ag を使っていても、howm のメモが数千を越えるとそれなりに検索に時間がかかるものです。それに ag はバグが多いという問題もあります。

そんな時、るびきちさんのブログ 見て ripgrep なるツールがあることを知りました。

初めて ag の検索を見た時、その速度に驚いたものですが、ripgrep は更にその数倍の速度を叩き出しています。ag でもうこれ以上劇的なパフォーマンスの向上はないだろうと思い込んでいましたが、まだこれだけ改善の余地があった事には驚きです。実際に使ってみても、おっ！と思うくらい速いのが実感できます。

Emacs 25.1 で起動時に警告が

Emacs 25.1 を使ってみた

Emacs 25.1 がリリースされたので、早速使ってみました。24.5 の時の設定は、何も変更せずにほぼそのまま使えました。

一点だけ問題があり、起動時に以下の警告が出るようになってしまいました。

Warning (bytecomp): (lambda (arg) ...) quoted with ' rather than with #'

警告なので内容からしても無視してして構わないと思いますが、起動する度にこれが出るのは精神衛生上よくありません。

lambda 関数のクォートに #' ではなくて、' が使われていることに対して警告を出しているようです。

helm のアップデートで Emacs の起動エラーが

helm は Anything の時代から、Emacs のユーザインタフェースに革新を持たらしました。今や Emacs と helm は切っても切れない関係です。しかしそれにしても helm のアップデートの激しさは異常です。Melpa の最新版を追い掛けていると、ほぼ毎日アップデートされています。もう何が何だか、更新内容なんて追跡する気にもなれません。アップデートの激しさだけからすると、よっぽどデザインが悪いんだろうなという気がします。

これだけ頻繁にアップデートされるとやはり問題が起こるものです。最近(2016年8月のいつか)のアップデートで Emacs の起動エラーが出るようになってしまいました。原因を切り分けていくと、やはり helm でした。その時は時間もなかったこともあり、helm を少し前のバージョンに戻し、そのままにしておきました。

しかしいつまでもこのままにしておくわけにもいかなので、ちゃんと調べてみました。

Emacs のフォント設定を克服する

Emacs入門者が最初につまずくのがフォント設定ではないでしょうか。ネット上には古い情報、新しい情報が入り乱れ、玉石混淆としています。色々な解説ページを参考にして、とりあえず設定していましたが、どうも全体像が捉みきれないモヤモヤ感を抱えていました。それでも長年に渡り少しずつ理解が進んいくと、呆れるくらい奥深い Emacs のフォントシステムが見えてきます。ここで一度知識を整理しておくべく、ちょっと気合を入れて解説を書いてみたいと思います。

Emacs fill-paragraph を便利にする

Emacs の fill-paragraph コマンドはパラグラフ全体を適切な位置で改行して整形してくれます。地味なコマンドですが、文章を書いていて最もよく使うコマンドの一つです。通常は M-q にバインドされています。なので少し文章を書くと、反射的に M-q を叩く習慣が身についています。

Cygwin の grep の動きがおかしくなった

Cygwin を久し振りにアップデートしたところ grep の動作がおかしくなってしまいました。Emacsからgrepを呼び出ほとんどヒットしないのです。ターミナルのbashからgrepを実行した場合はちゃんとヒットするのに。

調べてみたらすぐに原因が分かりました。grepがv2.24になり、ロケールをちゃんと認識するようになったのが原因のようです。(ていうか、今までロケールを認識していなかったのが少し驚きです。)

Emacs + howm で ag (The Silver Searcher) を使う

前回に引き続き Emacs + ag (The Silver Searcher) ネタです。howm で ag を使えるようにしてみました。

howm (一人お手軽 Wiki もどき)というメモ書きツール、今どれだけ使っている人がいるでしょう？一時期話題になり、雑誌などでも特集が組まれるほど盛り上がっていましたが、ここ数年サポートすら行なわれているのか分からないような状況です。ブログなどでも取り上げられることはほとんどありません。Emacs のパッケージリポジトリに登録されるでもなく、野良アプリとしてですが、今でもダウンロードはできるようになっていますが。

しかし私にとってメモ書きツールとして今でも無くてはならない存在です。howm のいい所は特定のフォーマットを規定している訳ではなく、単なるテキストファイルを扱う「マイナーモード」なので、他のメジャーモードと組み合わせて使うことができる点です。単なるテキストファイルなので、例え howm の使用を止めても今までのメモが無駄になることもありません。ドキュメントにも書かれているように、いつでも宗旨変えをすることができます。といいつつ、org-mode + howm の組合せで私は約10年もメモを書き溜めています。

howm にはデフォルトで elisp による検索と外部コマンドの grep を使って検索する機能があります。メモが少ないうちは elisp 検索で事足りますが、そのうち grep を使うようになり、更に grep でも遅く感じるようになる、というのが howm ユーザが通る道です。そこで ag の登場です。

ag を使う上で問題になることが ここ で少しだけ述べられています。ag は検索対象ファイルが唯一つだけだった場合、出力結果にファイル名を表示してくれないのです。これさえ何とかなれば使えそうです。

何だそんなことか、という気がしました。実はこれ、昔の grep にも同じ問題がありました。なので当時 Emacs から grep を呼び出す場合何をやっていたかというと、検索対象に常に /dev/null を追加して、強制的に二つ以上のファイル検索になるようにしていたのです。(ちなみに今の grep には -H というオプションがあり、これは必要ありません。) しかしこれがまた Windows では問題になり、使う grep によっては、そんなファイルないよエラーが出たりしたものです。

基本的に同じ方法を使ってみようと思いますが、grep でやっていたように何がなんでも常に /dev/null を追加するというのも芸が無いので、ファイルが一つだけだった場合のみ追加するという風にしてみます。

howm のソースコードを見てみると grep にハードコードされているわけではなく、変数設定で他のコマンドも使えるようになっています。この辺は設計者様に感謝です。

今回も Emacs24.4 から使えるようになった nadvice.el を使いました。旧来の defadvice を使った方法も載せておきますので、古い Emacs を使っている場合はコメントアウトされている方のコードを使ってください。

私の環境は以下の通りです。

• Windows10 Pro x64
• NTEmacs 24.5.1
• ag on Cygwin64 

ag にはパスを通しておいてください。また Windows 環境では Cygwin 意外の ag では使えないと思います( /dev/null を認識しないので)。

以下、設定コードです。先頭の howm-process-coding-system の設定は Windows を前提としたものなので、Mac や Linux では削除してください。たぶんそれ意外はそのまま使えると思います。

(setq howm-process-coding-system '(utf-8-dos . cp932-unix))

(setq howm-view-use-grep t)
(setq howm-view-grep-command "ag")
(setq howm-view-grep-option "--nocolor --nogroup")
(setq howm-view-grep-extended-option nil)
(setq howm-view-grep-fixed-option "-F")
(setq howm-view-grep-expr-option nil)
(setq howm-view-grep-file-stdin-option nil)

;; 検索対象が単一ファイルだった場合、/dev/null を追加する
;; nadvice を使った実装 (Emacs 24.4 からの機能)
(defun add-devnull (args)
  (let ((str   (car args))      ;; 検索文字列
        (files (nth 1 args)))   ;; ファイルリスト
    (when (= 1 (length files))           ;; 単一ファイル？
      (if (file-regular-p (car files))   ;; 通常ファイル？
          ;; 単一の通常ファイルが指定された場合に /dev/null を追加
          (setq files (append files '("/dev/null"))))
      )
    (list str files)))
(advice-add 'howm-real-grep-single :filter-args #'add-devnull)

;; 検索対象が単一ファイルだった場合、/dev/null を追加する
;; (defadvice howm-real-grep-single (before single-file-modifier activate)
;;   "If argument parameter specifies single file, then add /dev/null."
;;   (let ((arg-files (ad-get-arg 1)))          ;; 第二引数
;;     (when (= 1 (length arg-files))           ;; 単一ファイル?
;;       (if (file-regular-p (car arg-files))   ;; 通常ファイル?(ディレクトリでなく)
;;           (progn
;;             (setq arg-files (append arg-files '("/dev/null")))   ;; /dev/null を追加
;;             (ad-set-arg 1 arg-files)         ;; 元の関数に引数をセット
;;             ))))
;;   )

Windows NTEmacs で ag (The Silver Searcher) を使う

IDE全盛の昨今、Emacs で(elisp 以外の)プログラミングコードを書くことはめっきりなくなりました。しかし文章を書く作業は今でもEmacsが中心です。

Windows 上で Emacs を使っていると鬼門なのが外部コマンドとの連携です。例えば grep を呼び出して文章を検索するなどということはよくやりますが、英語は検索できても日本語が通らないといったケースがよくあります。

また ag (The Silver Searcher) の検索の早さには目を見張るものがあります。一度使ってみるとどうしても Emacs からも使えるようにしておきたくなります。

単に使うだけであればインストールさえすれば、最低限英語の検索はできます。自分も長い間その状態で放って置いたのですが、ちゃんと日本語も検索できるようにしておこうと思い調べてみました。

調べてみると結構根深い問題があったりして、自分でも勉強になったので、ここにメモを残しておこうと思います。

まず簡単に自分の環境を説明しておきます。

• Windows10 Pro x64
• NTEmacs 24.5.1 (IMEパッチなし)
• Cygwin64 + ag

ag をインストール

ag は Cygwin64 上で自分でビルドしたものを使います。既にお持ちの方はここはスキップしてください。

ag は Cygwin のパッケージになっていないので、自力でビルドする必要があります。ソースコードはここからダウンロードしてください。

https://github.com/ggreer/the_silver_searcher

ビルドに必要なパッケージはだいたい以下の通りです。

 gcc

 make

 autoconf

 automake

 pkg-config

 zlib-devel

 libpcre1

 libpcre-devel

 liblzma-devel

 liblzma5

 pcre

これらがインストールされていれば、後は展開したソースの ./build.sh を Cygwin のコマンドラインから実行するだけです。いくつか警告が出ますが無視して構いません。実行したディレクトリに ag.exe が生成されている筈です。

あとは make install すれば Cygwin の /usr/local/bin にコピーされます。このディレクトリをWindowsの PATH に追加しておいて下さい。

ag.el を動かす

まずは ag.el パッケージを動くようにしてみます。経験から言うと、外部コマンド絡みの問題はほんとんどが文字コードに起因するものです。逆に言うと文字コードさえ適切に設定してやれば、ほんとんどはちゃんと動くとも言えます。

Mac や Linux であれば何も考えずとにかく utf-8 にしておけばまず問題は起きません。しかしWindows の場合、SJIS(cp932)が嫌がらせのようにあちこちに顔を出します。

更にやっかいなのが、Emacs には文字コードを設定するにも似たようなコマンドや変数がいくつもあり、いったい何をどう使えばいいのかよく分からないというEmacsの闇です。

では Cygwin のコマンドを呼び出すには文字コードとして何を使えばいいのでしょうか？意外なことに、こうすべきという情報が見つかりませんでした。

そこで試行錯誤的に試してみました。結論から言うと、コマンドへの入力は cp932、コマンドからの出力は utf-8-dosにすればとりあえず動くということが分かりました。つまり入力と出力が非対称なのです。

外部プロセスに対する文字コード指定はいくつか方法がありますが、今回は変数 default-process-coding-system を使いました。この変数は Emacs のすべての外部プロセス呼び出しに影響します。というか特に指定が無かった場合のフォールバック先として機能します。

以下を初期化ファイルに追加してください。

  (setq default-process-coding-system '(utf-8-dos . cp932))

これだけで日本語が検索できるようになりました。M-x ag で検索文字列とディレクトリを入力すれば物凄い勢いで検索してくれます。

ただし、(prefer-coding-system ...) や (set-default-coding-systems ...) があると上書きされてしまうので、これらを使っている人はそれ以降に記述してください。Emacs の闇です。

helm-ag を動かす

helm-ag も普通に実行してみると日本語が検索できません。こちらは結構やっかいでした。

まずは以下のコードを見てください。helm-ag が ag コマンドを呼び出している部分です。

(defun helm-ag--init ()
  (let ((buf-coding buffer-file-coding-system))      ; (1)
    (helm-attrset 'recenter t)
    (with-current-buffer (helm-candidate-buffer 'global)
      (let* ((default-directory (or helm-ag--default-directory
                                    default-directory))
             (cmds (helm-ag--construct-command (helm-attr 'search-this-file)))
             (coding-system-for-read buf-coding)     ; (2)
             (coding-system-for-write buf-coding))   ; (3)
        (setq helm-ag--ignore-case (helm-ag--ignore-case-p cmds helm-ag--last-query))
        (let ((ret (apply 'process-file (car cmds) nil t nil (cdr cmds))))   ; (4)
          (if (zerop (length (buffer-string)))
              (error "No output: '%s'" helm-ag--last-query)
            (unless (zerop ret)
              (unless (executable-find (car cmds))
                (error "'ag' is not installed."))
              (error "Failed: '%s'" helm-ag--last-query))))
        (helm-ag--save-current-context)))))

(1)でバッファのファイル・コーディングシステムを取り出し、それを (2)(3) で coding-system-for-read, coding-system-for-write に設定しています。これが外部プロセスに対して read/write する文字コード(コーディングシステム)になります。そして(4)で外部コマンド ag を呼び出しています。

つまりバッファのファイル・コーディングシステムを強制的に ag コマンドの入・出力に使っているのです。これじゃWindowsでまともに動くわけありません。この部分意図がさっぱり理解できませんが、とにかく原因は分かりました。

原因が分かれば後は対策です。変数の設定でどうにかできるレベルではないので、今回は外部プロセスを呼び出している関数(process-file)を advice という仕組みで書き換え、コーディングシステムを強制的に設定することにしました。advice にもいくつか方法がありますが、Emacs24.4 から導入された nadvice.el を使いました。古い Emacs を使っている方は注意してください。一応古い advice を使った方法もコメントとして残しておきましたので、必要であればそちらを使って下さい。

以下が最終的なコードです。これで helm-ag で日本語の検索、絞り込みができるようになりました。

(when (executable-find "ag")
  (require 'helm-ag)

  (defvar helm-ag-base-command)
  (defvar helm-ag-insert-at-point)
  (defvar helm-ag-ignore-patterns)

  ;; ag のデフォルトのコマンドオプションを指定
  ;; -n を消すとサブディレクトリも再帰的に検索
  ;; (setq helm-ag-base-command "ag --nocolor --nogroup -n")
  (setq helm-ag-base-command "ag --nocolor --nogroup")

  ;;; ポイント位置のシンボルをデフォルトのクエリにする
  (setq helm-ag-insert-at-point 'symbol)

  ;; 検索で無視するファイルパターン (ag --ignore xxxx に渡す文字列を設定)
  ;; (setq helm-ag-ignore-patterns '("*~" "#.*#" "TAGS"))
  ;; 無視パターンに grep.el の変数を使う
  (setq helm-ag-use-grep-ignore-list t)

  ;; process-file を呼び出す前に R/W の coding system を強制的に設定
  ;; (defadvice process-file (before configure-process-coding activate)
  ;;   "Configure process coding for Cyrgin application."
  ;;   (setq coding-system-for-read  'utf-8-dos)     ;; 行末の ^M を避けるため -dos が必要
  ;;   (setq coding-system-for-write 'cp932-dos)
  ;;   )

  ;; :around による advice
  (defun set-rw-coding-system:around (orig-func &rest args)
    (let ((coding-system-for-read  'utf-8-dos) ; 行末の ^M を避けるため -dos が必要
          (coding-system-for-write 'cp932-dos))
      (apply orig-func args)          ; オリジナル関数を呼び出し
      ))
  (advice-add 'process-file :around #'set-rw-coding-system:around)


  ;; === キーバインド ===
  (global-set-key (kbd "C-M-g") 'helm-ag)
  (global-set-key (kbd "C-M-k") 'backward-kill-sexp) ;推奨
  )