HOME
  Security
   Software
    Hardware
  
FPGA
  CPU
   Android
    Raspberry Pi
  
nLite
  Xcode
   etc.
    ALL
  
English Translate 中文翻訳
LINK
BACK
 

2016/04/27

Raspberry Pi 3に形態素解析エンジン MeCabをインストールして形態素解析をする方法 Raspberry Pi 3に形態素解析エンジン MeCabをインストールして形態素解析をする方法

(ラズパイ3で オープンソースの形態素解析エンジン MeCabをコンパイルして使用する方法まとめ)

Tags: [Raspberry Pi], [電子工作]






● Raspberry Pi 3 Model Bを遂に購入

 Raspberry Pi3 Model B RPI2 RPI3

 大人気の CPUボードの Raspberry Piに WiFiと Bluetoothが搭載されたモデルが新発売となりました。
 以前から Raspberry Pi 2を買おうかどうか迷っていましたが、Raspberry Pi 3 Model Bの発売を機に購入を決意してラズベリアンになる事にしました。

 ※ ラズパイの OS Raspbianはバージョンが上がる毎に過去の版と OSの内部の作りが変わり、過去に書かれた製作記事(例えば Raspbian Wheezyの時代の記事)がそのままではエラーが出たりして動かない事が有ります。
 ※ 当方のホームページのラズパイ記事は全て Raspberry Pi 3 Model Bと Raspbian Jessieの組み合わせで動作確認をしております。
(ただし、将来的に新しい Raspbian OSが出た場合に、当方の Raspbian Jessieを基にした内容がそのままでは動かない可能性が有ります。)
 ※ 2017/08/16から Raspbian OSは Raspbian Jessieから Raspbian Stretchに変わりました。

Download Raspbian for Raspberry Pi

ちなみに、歴代のバージョンと名称は
Debianコードネーム年月備考
Debian 9Stretch2017/08/16~
Debian 8Jessie2015~2016/02からラズパイ3対応
Debian 7Wheezy2013~2016
Debian 6.0Squeeze2011~2014
Debian GNU/Linux 5.0Lenny2009~2012


● Raspberry Pi 3 Model Bでオープンソースの形態素解析エンジン MeCabを動かす

MeCab: Yet Another Part-of-Speech and Morphological Analyzer

 MeCab (和布蕪)とはオープンソース 形態素解析エンジンです。
 名称は開発者の好物「和布蕪(めかぶ)」から取られた。

● MeCabインストール手順

MeCab ダウンロード
 からダウンロードします。
 ・MeCab本体
 ・MeCab用の辞書
 ・Python用ライブラリ

 現在はグーグルドライブにファイルが置かれており、wgetでダウンロードするには URLを工夫する必要が有ります。

https://drive.google.com/uc?export=download&id={idパラメータ}
 を
https://googledrive.com/host/{idパラメータ}
 の様に修正します。

 例えば、 mecab-0.996.tar.gz ソースコードのダウンロード URL
https://drive.google.com/uc?export=download&id=0B4y35FiV1wh7cENtOXlicTFaRUE
 を wgetするには、
https://googledrive.com/host/0B4y35FiV1wh7cENtOXlicTFaRUE
 の様に修正します。


● MeCab本体のコンパイルとインストール

 MeCab 2013-02-18 MeCab 0.996

$ cd
$ wget https://googledrive.com/host/0B4y35FiV1wh7cENtOXlicTFaRUE -O mecab-0.996.tar.gz
$ tar zxfv mecab-0.996.tar.gz
$ cd mecab-0.996
$ ./configure --with-charset=utf8 --enable-utf8-only
$ make
$ sudo make install

※ sudoが使えない場合や /usr/local/lib以外に配置したい場合は configureに --prefix=$HOME/usr/localを追加するとかなんとかでググる(パラメータ指定とファイル書き換えで苦労する)

MeCab本体の動作チェック

$ mecab
mecab: error while loading shared libraries: libmecab.so.2: cannot open shared object file: No such file or directory
soライブラリファイルが無いと怒っている

soライブラリファイルを認識させる
$ ls -l /usr/local/lib
$ cat /etc/ld.so.conf
$ sudo bash -c "echo /usr/local/lib >> /etc/ld.so.conf"
$ cat /etc/ld.so.conf
$ sudo ldconfig

$ mecab
param.cpp(69) [ifs] no such file or directory: /usr/local/lib/mecab/dic/ipadic/dicrc
辞書ファイルが無いと怒っている

● MeCabは /usr/local/lib以下に作成されます。
 MeCab本体と soライブラリファイル
$ ls -l /usr/local/lib/
-rw-r--r-- 1 root staff 2693430 Apr 29 16:18 libmecab.a
-rwxr-xr-x 1 root staff     956 Apr 29 16:18 libmecab.la
lrwxrwxrwx 1 root staff      17 Apr 29 16:18 libmecab.so -> libmecab.so.2.0.0
lrwxrwxrwx 1 root staff      17 Apr 29 16:18 libmecab.so.2 -> libmecab.so.2.0.0
-rwxr-xr-x 1 root staff 1891384 Apr 29 16:18 libmecab.so.2.0.0
drwxr-sr-x 3 root staff    4096 Apr 29 16:21 mecab

 辞書
$ ls -l /usr/local/lib/mecab/dic
drwxr-sr-x 2 root staff 4096 Apr 29 16:27 ipadic
drwxr-sr-x 2 root staff 4096 Apr 30 06:50 jumandic
drwxr-sr-x 2 root staff 4096 Apr 30 06:57 unidic

● MeCab用辞書のインストール(sudo raspi-configの Expand Filesystemを実行しておく事)

 下記の 3種類の辞書が有ります。IPA辞書だけで使えます。Juman辞書や Unidic辞書は必要に応じて入れます。

 ・IPA 辞書
mecab-ipadic-2.7.0-20070801.tar.gz
 ・Juman 辞書
mecab-jumandic-7.0-20130310.tar.gz
 ・Unidic 辞書
OSDN - Unidic 辞書

 ・IPA 辞書
$ cd
$ wget https://googledrive.com/host/0B4y35FiV1wh7MWVlSDBCSXZMTXM -O mecab-ipadic-2.7.0-20070801.tar.gz
$ tar zxfv mecab-ipadic-2.7.0-20070801.tar.gz
$ cd mecab-ipadic-2.7.0-20070801
$ ./configure --with-charset=utf8
$ make
$ sudo make install
$ ls -l /usr/local/lib/mecab/dic
$ df -h

 ・Juman 辞書
$ cd
$ wget https://googledrive.com/host/0B4y35FiV1wh7X2pESGlLREpxdXM -O mecab-jumandic-7.0-20130310.tar.gz
$ tar zxfv mecab-jumandic-7.0-20130310.tar.gz
$ cd mecab-jumandic-7.0-20130310
$ ./configure --with-charset=utf8
$ make
$ sudo make install
$ ls -l /usr/local/lib/mecab/dic
$ df -h

 ・Unidic 辞書
$ cd
$ wget http://iij.dl.osdn.jp/unidic/58338/unidic-mecab-2.1.2_src.zip
$ unzip unidic-mecab-2.1.2_src.zip
$ cd unidic-mecab-2.1.2_src
$ ./configure --with-charset=utf8
$ make
$ sudo make install
$ ls -l /usr/local/lib/mecab/dic
$ df -h

● MeCab本体の動作チェック(辞書も soライブラリも正しい状態)

$ mecab
あいうえお
あい 動詞,自立,*,*,五段・カ行イ音便,連用タ接続,あく,アイ,アイ
う 助動詞,*,*,*,不変化型,基本形,う,ウ,ウ
え フィラー,*,*,*,*,*,え,エ,エ
お 感動詞,*,*,*,*,*,お,オ,オ
EOS
[Ctrl+D]で終了


● MeCab Pythonライブラリのコンパイルとインストール

$ sudo apt-get -y install python-dev
$ cd
$ wget https://googledrive.com/host/0B4y35FiV1wh7UlJpaWJKM01KRVE -O mecab-python-0.996.tar.gz
$ tar xvzf mecab-python-0.996.tar.gz
$ cd mecab-python-0.996
$ python setup.py build
$ sudo python setup.py install

 python-devが無いと下記のエラーが発生する
$ python setup.py build
MeCab_wrap.cxx:149:20: fatal error: Python.h: No such file or directory
 #include <Python.h>
                    ^
compilation terminated.
error: command 'arm-linux-gnueabihf-gcc' failed with exit status 1
 soライブラリファイルが無いと怒っている(上記方法で soファイルを認識させる)
$ python
Python 2.4.3 (#1, Jun 18 2012, 08:55:31)
[GCC 4.1.2 20080704 (Red Hat 4.1.2-52)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import MeCab
Traceback (most recent call last):
  File "<stdin>", line 1, in ?
  File "/root/mecab-python-0.996/MeCab.py", line 29, in ?
    import _MeCab
ImportError: libmecab.so.2: cannot open shared object file: No such file or directory
$ python
Python 2.4.3 (#1, Jun 18 2012, 08:55:31)
[GCC 4.1.2 20080704 (Red Hat 4.1.2-52)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import MeCab
>>>
[Ctrl+D]で終了
 import MeCabでエラーが出なければ pythonから MeCabを使用できる。
$ python
Python 2.7.9 (default, Mar  8 2015, 00:52:26)
[GCC 4.9.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import MeCab
>>> mt = MeCab.Tagger("-Ochasen")
>>> print mt.parse("MeCabはオープンソースの形態素解析エンジン")
MeCab   MeCab   MeCab   名詞-固有名詞-組織
は      ハ      は      助詞-係助詞
オープン        オープン        オープン        名詞-サ変接続
ソース  ソース  ソース  名詞-一般
の      ノ      の      助詞-連体化
形態素  ケイタイソ      形態素  名詞-一般
解析    カイセキ        解析    名詞-サ変接続
エンジン        エンジン        エンジン        名詞-一般
EOS

● MeCabの辞書毎の出力内容の違い
 デフォルト、IPA辞書
$ mecab
汎用的な設計を基本方針としています。
汎用    名詞,一般,*,*,*,*,汎用,ハンヨウ,ハンヨー
的      名詞,接尾,形容動詞語幹,*,*,*,的,テキ,テキ
な      助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ
設計    名詞,サ変接続,*,*,*,*,設計,セッケイ,セッケイ
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
基本    名詞,一般,*,*,*,*,基本,キホン,キホン
方針    名詞,一般,*,*,*,*,方針,ホウシン,ホーシン
と      助詞,格助詞,一般,*,*,*,と,ト,ト
し      動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て      助詞,接続助詞,*,*,*,*,て,テ,テ
い      動詞,非自立,*,*,一段,連用形,いる,イ,イ
ます    助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
。      記号,句点,*,*,*,*,。,。,。
EOS

 Juman辞書
$ mecab -d /usr/local/lib/mecab/dic/jumandic
汎用的な設計を基本方針としています。
汎用    名詞,サ変名詞,*,*,汎用,はんよう,代表表記:汎用/はんよう カテゴリ:抽象物
的な    接尾辞,形容詞性名詞接尾辞,ナ形容詞,ダ列基本連体形,的だ,てきな,代表表記:的だ/てきだ 準内容語 カテゴリ:抽象物
設計    名詞,サ変名詞,*,*,設計,せっけい,代表表記:設計/せっけい カテゴリ:抽象物 ドメイン:科学・技術
を      助詞,格助詞,*,*,を,を,連語
基本    名詞,普通名詞,*,*,基本,きほん,代表表記:基本/きほん 〜を〜に構成語 カテゴリ:抽象物
方針    名詞,普通名詞,*,*,方針,ほうしん,代表表記:方針/ほうしん カテゴリ:抽象物
と      助詞,格助詞,*,*,と,と,連語
して    動詞,*,サ変動詞,タ系連用テ形,する,して,代表表記:する/する 付属動詞候補(基本) 自他動詞:自:成る/なる
い      接尾辞,動詞性接尾辞,母音動詞,基本連用形,いる,い,代表表記:いる/いる
ます    接尾辞,動詞性接尾辞,動詞性接尾辞ます型,基本形,ます,ます,代表表記:ます/ます
。      特殊,句点,*,*,。,。,*
EOS

 Unidic辞書
$ mecab -d /usr/local/lib/mecab/dic/unidic
汎用的な設計を基本方針としています。
汎用    ハンヨー        ハンヨウ        汎用    名詞-普通名詞-一般
的      テキ    テキ    的      接尾辞-形状詞的
な      ナ      ダ      だ      助動詞  助動詞-ダ       連体形-一般
設計    セッケー        セッケイ        設計    名詞-普通名詞-サ変可能
を      オ      ヲ      を      助詞-格助詞
基本    キホン  キホン  基本    名詞-普通名詞-一般
方針    ホーシン        ホウシン        方針    名詞-普通名詞-一般
と      ト      ト      と      助詞-格助詞
し      シ      スル    為る    動詞-非自立可能 サ行変格        連用形-一般
て      テ      テ      て      助詞-接続助詞
い      イ      イル    居る    動詞-非自立可能 上一段-ア行     連用形-一般
ます    マス    マス    ます    助動詞  助動詞-マス     終止形-一般
。                      。      補助記号-句点
EOS

● MeCabの出力指定毎の違い
 ヨミ付与
$ mecab -Oyomi
汎用的な設計を基本方針としています。
ハンヨウテキナセッケイヲキホンホウシントシテイマス。

 わかち書き
$ mecab -Owakati
汎用的な設計を基本方針としています。
汎用 的 な 設計 を 基本 方針 と し て い ます 。

 ChaSen互換
$ mecab -Ochasen
汎用的な設計を基本方針としています。
汎用    ハンヨウ        汎用    名詞-一般
的      テキ    的      名詞-接尾-形容動詞語幹
な      ナ      だ      助動詞  特殊・ダ        体言接続
設計    セッケイ        設計    名詞-サ変接続
を      ヲ      を      助詞-格助詞-一般
基本    キホン  基本    名詞-一般
方針    ホウシン        方針    名詞-一般
と      ト      と      助詞-格助詞-一般
し      シ      する    動詞-自立       サ変・スル      連用形
て      テ      て      助詞-接続助詞
い      イ      いる    動詞-非自立     一段    連用形
ます    マス    ます    助動詞  特殊・マス      基本形
。      。      。      記号-句点
EOS

 全情報を出力
$ mecab -Odump
汎用的な設計を 基本方針としています。
0 BOS BOS/EOS,*,*,*,*,*,*,*,* 0 0 0 0 0 0 2 1 0.000000 0.000000 0.000000 0
2 汎用 名詞,一般,*,*,*,*,汎用,ハンヨウ,ハンヨー 0 6 1285 1285 38 2 0 1 0.000000 0.000000 0.000000 5339
7 的 名詞,接尾,形容動詞語幹,*,*,*,的,テキ,テキ 6 9 1299 1299 52 2 0 1 0.000000 0.000000 0.000000 7243
12 な 助動詞,*,*,*,特殊・ダ,体言接続,だ,ナ,ナ 9 12 454 454 25 6 0 1 0.000000 0.000000 0.000000 6962
16 設計 名詞,サ変接続,*,*,*,*,設計,セッケイ,セッケイ 12 18 1283 1283 36 2 0 1 0.000000 0.000000 0.000000 8935
17 を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 18 21 156 156 13 6 0 1 0.000000 0.000000 0.000000 8486
24 基本 名詞,一般,*,*,*,*,基本,キホン,キホン 22 28 1285 1285 38 2 0 1 0.000000 0.000000 0.000000 11459
43 方針 名詞,一般,*,*,*,*,方針,ホウシン,ホーシン 28 34 1285 1285 38 2 0 1 0.000000 0.000000 0.000000 16482
50 と 助詞,格助詞,一般,*,*,*,と,ト,ト 34 37 150 150 13 6 0 1 0.000000 0.000000 0.000000 19271
59 し 動詞,自立,*,*,サ変・スル,連用形,する,シ,シ 37 40 610 610 31 6 0 1 0.000000 0.000000 0.000000 20727
68 て 助詞,接続助詞,*,*,*,*,て,テ,テ 40 43 307 307 18 6 0 1 0.000000 0.000000 0.000000 19234
72 い 動詞,非自立,*,*,一段,連用形,いる,イ,イ 43 46 930 930 33 6 0 1 0.000000 0.000000 0.000000 23144
85 ます 助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス 46 52 491 491 25 6 0 1 0.000000 0.000000 0.000000 20941
93 。 記号,句点,*,*,*,*,。,。,。 52 55 8 8 7 3 0 1 0.000000 0.000000 0.000000 18106
96 EOS BOS/EOS,*,*,*,*,*,*,*,* 56 56 0 0 0 0 3 1 0.000000 0.000000 0.000000 16570

 /usr/local/lib/mecab/dic/ipadic/dicrcファイルに定義されている
$ cat /usr/local/lib/mecab/dic/ipadic/dicrc
;
; Configuration file of IPADIC
;
; $Id: dicrc,v 1.4 2006/04/08 06:41:36 taku-ku Exp $;
;
cost-factor = 800
bos-feature = BOS/EOS,*,*,*,*,*,*,*,*
eval-size = 8
unk-eval-size = 4
config-charset = EUC-JP

; yomi
node-format-yomi = %pS%f[7]
unk-format-yomi = %M
eos-format-yomi  = \n

; simple
node-format-simple = %m\t%F-[0,1,2,3]\n
eos-format-simple  = EOS\n

; ChaSen
node-format-chasen = %m\t%f[7]\t%f[6]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\n
unk-format-chasen  = %m\t%m\t%m\t%F-[0,1,2,3]\t\t\n
eos-format-chasen  = EOS\n

; ChaSen (include spaces)
node-format-chasen2 = %M\t%f[7]\t%f[6]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\n
unk-format-chasen2  = %M\t%m\t%m\t%F-[0,1,2,3]\t\t\n
eos-format-chasen2  = EOS\n



Tags: [Raspberry Pi], [電子工作]

●関連するコンテンツ(この記事を読んだ人は、次の記事も読んでいます)

Raspberry Pi 3系のトラブルであるある第一位の電源トラブル、低電圧警報に関する情報のまとめ
Raspberry Pi 3系のトラブルであるある第一位の電源トラブル、低電圧警報に関する情報のまとめ

  ラズパイ3B系での低電圧警報に関する情報まとめ、コマンドラインやログファイルから低電圧を検知する方法

Raspberry Piで CPUの脆弱性 Spectreと Meltdownの脆弱性をチェックする方法
Raspberry Piで CPUの脆弱性 Spectreと Meltdownの脆弱性をチェックする方法

  ラズパイで 2018年初頭に大騒ぎになったスペクターとメルトダウンの CPUの脆弱性をチェックする方法

Raspberry Pi Zero Wを海外通販の Pimoroni等での購入方法、購入できる通販ショップ一覧まとめ
Raspberry Pi Zero Wを海外通販の Pimoroni等での購入方法、購入できる通販ショップ一覧まとめ

  ラズパイゼロW ワイヤレスモデルを海外通販でサクッと簡単に個人輸入で入手。技適通過でも国内販売は常に品切れ

Raspberry Pi 3で安定して使える相性の無い最適な microSDカードの種類のまとめ
Raspberry Pi 3で安定して使える相性の無い最適な microSDカードの種類のまとめ

  ラズパイ3で安定して使える microSDカードを購入する Teamと SanDiskは絶対に買わない

Raspberry Pi 3 Model Bに専用カメラモジュール RaspiCamを接続する方法
Raspberry Pi 3 Model Bに専用カメラモジュール RaspiCamを接続する方法

  ラズパイに専用カメラモジュールを接続して Raspbianで写真の静止画撮影や動画を録画する方法

Raspberry Pi 3の Linuxコンソール上で使用する各種コマンドまとめ
Raspberry Pi 3の Linuxコンソール上で使用する各種コマンドまとめ

  ラズパイの Raspbian OSのコマンドラインで使用する便利コマンド、負荷試験や CPUシリアル番号の確認方法等も

Raspberry Pi 3公式フォーラムの FAQの内容の日本語訳
Raspberry Pi 3公式フォーラムの FAQの内容の日本語訳

  ラズパイ公式フォーラムの「The Raspberry Pi 3 Model B Q&A thread」の日本語訳

Raspberry Pi 3で GPIO端子の I2C機能を有効化する方法
Raspberry Pi 3で GPIO端子の I2C機能を有効化する方法

  ラズパイ3の GPIO端子の I2C機能を有効にして各種センサーを繋げる方法まとめ

大人気の CPUボード、Raspberry Pi 3 Model Bで作ってみよう
大人気の CPUボード、Raspberry Pi 3 Model Bで作ってみよう

  Raspberry Piの開発環境の構築やタッチパネル付き液晶ディスプレイや各種センサーの使い方まとめ


Raspberry Pi 3、シングルボードコンピュータ ラズパイ3 Raspberry Pi関連はこちらへまとめました
 下記以外にも多数のラズパイ関係の記事が有ります。
 (I2C制御、GPIO制御、1-Wire制御、シリアル通信、日本語音声合成、日本語音声認識、中国語音声合成、MeCab 形態素解析エンジン、赤外線リモコン制御、秋月 I2C液晶モジュール、KeDei 3.5インチ液晶、HDMI 5インチ液晶、NFCカードリーダ、コマンドライン操作方法等)
Raspberry Pi 3に HDMI接続の 800x480 5インチ TFT液晶を接続して使用する方法
Raspberry Pi Raspbian Jessie 2017-07最終版で LIRCを使って学習リモコン、赤外線リモコンを送受信する方法
Raspberry Pi 3の WiFiを広告ブロック機能付きの無線LANアクセスポイント化 hostapd + dnsmasq編
Raspberry Pi 3の Bluetoothで ブルテザで通信する方法(Bluetooth編)
Raspberry Pi 3で日本語音声を合成して喋らせる方法(OpenJTalk編)
Raspberry Pi 3に USB Micを接続して日本語の音声認識をする方法(Julius編)
Raspberry Pi 3の GPIOに LEDとスイッチを接続して Lチカする方法
Raspberry Pi 3の GPIOに LEDとスイッチを接続してシャットダウンボタンを実装する方法
Raspberry Pi 3で GPIO端子の I2C機能を有効化する方法
Raspberry Pi 3の GPIOに I2C通信方式の気圧計 BMP280を接続する方法
Raspberry Pi 3に I2C通信方式の NFCリーダライタ PN532を接続して NFC FeliCaカードを読む方法
Raspberry Pi 3でネットワーク ライブカメラを構築する方法 Motion編
Raspberry Pi 3でネットワーク ライブカメラを構築する方法 MJPG-streamer編
Raspberry Pi 3 Model Bで動画処理アプリ FFmpegをコンパイルする方法
Raspberry Pi3の X-Window Systemに Windowsのリモートデスクトップから接続する方法
Raspberry Pi3に WebRTCの STUN/TRUNサーバと PeerJSサーバをインストールする方法
【成功版】Raspberry Piで NNPACK対応版の Darknet Neural Network Frameworkをビルドする方法


Espressif ESP8266 Arduino互換でスケッチが使える ESP-12Eモジュール基板
Espressif ESP8266 Arduino互換でスケッチが使える ESP-12Eモジュール基板

  Espressif ESP8266 ESP-12-E NodeMCU V1 ESP12 CP2102

BangGood通販はドローン以外にも面白い商品がまだまだ有った(電子工作編)
BangGood通販はドローン以外にも面白い商品がまだまだ有った(電子工作編)

  レーザー彫刻機、カラー液晶の DIYオシロ、Arduinoや Raspberry Pi用の小型カラー液晶



[HOME] | [BACK]
リンクフリー(連絡不要、ただしトップページ以外は Web構成の変更で移動する場合があります)
Copyright (c) 2016 FREE WING,Y.Sakamoto
Powered by 猫屋敷工房 & HTML Generator

http://www.neko.ne.jp/~freewing/raspberry_pi/raspberry_pi_3_mecab_morphological_analysis/