入門 自然言語処理

By | 2011/5/28 土曜日

無脳bot作ったときにMeCab使ってマルコフ連鎖使って作ったんだけど、言語処理に結構悩まされた。
無脳botって自然な日本語を出力できるかどうかが勝負なんだけどこれがなかなか難しい。
で、あきらめちゃってだいぶ放置してたんですが本書を読んで、また再燃中です。

本書は自然言語処理に興味さえ持っていれば、最終的には無脳botなんて余裕で作れるところまで解説してくれています。

1章~4章までは言語を処理するためのプログラミングについて書かれています。
具体的な処理に入るまで4章使ってくれるなんて親切。

  • 1章 言語処理とPython
  • 2章 テキストコーパスと語彙資源へのアクセス
  • 3章 生テキストの処理
  • 4章 構造化されたプログラムを書く

5章~11章は具体的な言語処理に突入。
ここら辺からはより具体的な処理に突入。
個人的には8章の文構造が面白かった。

  • 5章 単語の分類とタグ付け
  • 6章 テキスト分類の学習
  • 7章 テキストからの情報抽出
  • 8章 文構造の分析
  • 9章 素性ベースの文法の構築
  • 10章 文の意味の解析
  • 11章 言語データの管理

12章は日本語の処理について書き下ろされてる。
11章まで英語が対象になっているので、12章を付けてくれたことに大変感謝!
JUMAN知らなかったので今度使ってみよう。

  • 12章 Pythonによる日本語自然言語処理

本自体に厚みがあって手を伸ばしにくいかもしれませんが
逆に内容が充実してるんだと思って読んでみてください。
自然言語処理興味があるなら間違いなくオススメの一冊です。

ほんとはこれ読んで感想とbotを同時に公開したかったのですがbot制作の時間がとれずに断念。
あとPythonはほとんどやった事ないので感想はスルー。
言語処理をPHPかRubyに置き換えてブログに載っけてみようかとも思案中。

Category:

コメントを残す

メールアドレスが公開されることはありません。