非常に便利な形態素解析ソフトMeCabですが、デフォルトの辞書は最近登場した単語に弱いと言う欠点があります。
自分で辞書を改善していけたらいいのですがそれも工数が大きくめんどくさい。
以上の状況において、定期的にメンテナンスされている非常にありがたい辞書があります。
mecab-ipadic-neologd
インストール手順はリポジトリの README.ja.mdにある通りです。
$ cd ~/Downloads
$ git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
$ cd mecab-ipadic-neologd
# -a をつけると全部入り
$ ./bin/install-mecab-ipadic-neologd -n -a
途中で
Do you want to install mecab-ipadic-NEologd? Type yes or no.
と聞かれるのでこれは yes.
ドキュメントにある通り、インストール先は次のコマンドで確認できます。
(出力は僕の環境の例)
$ echo `mecab-config --dicdir`"/mecab-ipadic-neologd"
/usr/local/lib/mecab/dic/mecab-ipadic-neologd
動作確認してみましょう。
まずデフォルト辞書の場合。
~$ mecab
志村五郎先生は偉大な数学者でした。
志村 名詞,固有名詞,人名,姓,*,*,志村,シムラ,シムラ
五郎 名詞,固有名詞,人名,名,*,*,五郎,ゴロウ,ゴロー
先生 名詞,一般,*,*,*,*,先生,センセイ,センセイ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
偉大 名詞,形容動詞語幹,*,*,*,*,偉大,イダイ,イダイ
な 助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ
数学 名詞,一般,*,*,*,*,数学,スウガク,スーガク
者 名詞,接尾,一般,*,*,*,者,シャ,シャ
でし 助動詞,*,*,*,特殊・デス,連用形,です,デシ,デシ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
EOS
neologdの場合
~$ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd
志村五郎先生は偉大な数学者でした。
志村五郎 名詞,固有名詞,人名,一般,*,*,志村五郎,シムラゴロウ,シムラゴロー
先生 名詞,一般,*,*,*,*,先生,センセイ,センセイ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
偉大 名詞,形容動詞語幹,*,*,*,*,偉大,イダイ,イダイ
な 助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ
数学者 名詞,固有名詞,一般,*,*,*,数学者,スウガクシャ,スーガクシャ
でし 助動詞,*,*,*,特殊・デス,連用形,です,デシ,デシ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
EOS
志村五郎先生の名前が固有名詞として認識されていますね。
数学者も。
cloneしてきた辞書ファイルの中を見るとこのように登録されていることがわかります。
mecab-ipadic-neologd$ grep 志村五郎 * -r
build/mecab-ipadic-2.7.0-20070801-neologd-20190610/mecab-user-dict-seed.20190610.csv:志村五郎,1289,1289,4757,名詞,固有名詞,人名,一般,*,*,志村五郎,シムラゴロウ,シムラゴロー