日本語意味解析製品「なずき」というアプリケーションに関する
解説が乗っかっていたので、興味を持って記事を読んでみました。

世界初のモバイル向けコンテンツ連動型広告開始 ＠IT

でも、記事からは残念ながら「なずき」の魅力があまり分かりませんでした。



この記事で言及していることは、意味を解析しなくても実現できます。
大人気無いですが、実際に一緒にやってみましょう。

@ITの記事と同じような処理を実際にやってみよう

プログラムするまでもないので、手を動かして遊んでみます。

入出力

入力 : 私の彼って、最近車買ったんだよぉ？ 明日は軽井沢へ連れて行ってくれるんだぁ
出力 : 旅行、宿泊、自動車

つかうもの

- Chasen（WindowsのGUI版でOK）
　ChaSen's Wiki - 茶筌の配布
- Yahoo!検索

1、Chasenで名詞を抽出

「私の彼って、最近車買ったんだよぉ？ 明日は軽井沢へ連れて行ってく
れるんだぁ」を文分割する必要もないので、そのままChasenで解析。
形態素解析の結果として、基本形と品詞を表示しています。



ここから名詞だけを抽出します。

2、簡単なストップワード処理

この手の処理にストップワード処理は必須です。
結果を確認しながら、より汎用性の高いルールを探して、
ストップワードのフィルタリングに使いましょう。
今回は、以下の3ルールを使います。

- 代名詞はストップワード
- ひらがな、カタカナ、英数字1文字はストップワード
- 名詞-副詞可能はストップワード

その結果は以下の通りです。

3、関連語検索をする

「車」、「軽井沢」というキーワードが取得できたので、
これらを使ってYahoo!検索の関連語を確認します。
ページ下部に関連語リストが出現しますよ。

Yahoo!検索 - 軽井沢


整頓してみると、以下のようになります。

・軽井沢の関連ワード
-アウトレット
-プリンスホテル
-ホテル
-プリンス
-ペンション
-観光
-宿泊
-旧軽井沢
-おもちゃ王国
-星のや

4、最後に関連語から一般的な語を選択する

これらのキーワードのなかで、より一般的なキーワードは、
「観光」と「宿泊」です。
検索エンジンのヒット数を目安にしてもよいですし、
関連ワードをもう一度Chasenにかけてフィルタリングしても良いでしょう。
自動車も「車」というキーワードで同じようにすれば見つかりますよ。

---

なづきについて知りたくなったので調べてみると、
以下のような記事を見つけました。

「スーパーなずき」の最適化開発・展開について NTTデータ


ふむふむ。この辞書は素晴らしそうですね。
自分ではとても作れない巨大な辞書です。
巨大な辞書とNLPツールと検索エンジンの組み合わせが
なずきという製品なのかな。正直ネットでは良くわかりませんでした。

なんというか、意味解析って何かと難しいですね。
意味解析、という言葉がカッコよいだけに色々ありそう。

富士フイルムが、独自開発のシソーラスに基づくクエリ拡張を使った
関連画像検索エンジン「TRIPIT」を公開しました。
Web APIも同時に公開されているので使ってみると面白そうですよ。

TRIPIT
http://labs.tripit.jp/

TRIPITによる検索は、ユーザがクエリを与えることで始まります。
クエリを与えるとTRIPITは、クエリの「上位語」「下位語」や
「同位語(同じ上位語を持つ語)」をシソーラス中から探します。
そして、それらの語をタグとして画像検索を行い結果を返します。



肝心なシソーラスはサーバードメイン社と富士フイルムの共同開発だとか。
実質サーバードメイン社が発注を受けて構築したか、
自社のシソーラスを提供したか、どちらかではないでしょうか。
シソーラスの自動拡張を実装しているみたいなので、おもしろいですね。

シソーラス構築時の上位・下位語の計算にはWikipediaを(も？)使ったそうです。
ちょっと頑張れば軽いシソーラスは誰でも作れるということですね。
精度を向上するためには、いろいろ課題はあるでしょうけど。

こういうものを富士フィルムが出したということは、
現代の技術では画像を使って画像を検索することが困難であることを
示唆している気がして、ちょっと寂しくなったのでした。

WebService::YahooJapan::WebMAがリリースされていた。

WebService::YahooJapan::WebMA - search.cpan.org

便利そうです。そういえばまだWebMAを試せていない。
週末はやることが多いなー。

Yahoo!がWebMAのWeb APIを公開しました。これはすごい。

Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析

あとでWebMAをどういうときに使うと良いかを実験してみよう。
ローカルで大量に形態素解析する必要が無いときかつ、
どんなときなのか。やってみなきゃわからないですね。

Googleのリサーチディレクター、Peter Norvigの記事、
How to Write a Spelling Correctorを青木靖さんが翻訳。
すばらしいですね。

スペル修正プログラムはどう書くか

読んでみると分かるけど、研究的なアプローチで勉強になります。
開発の最初から評価までの非常に丁寧な解説なので、
読んでいてワクワクして最後まで一気読みしてしまいました。

この記事を読んで熱くなってハックしてる人が沢山いそうですね。

▼関連記事
[O] PN単語辞書 - 単語感情極性対応表

乾さんの「Sentiment Analysis - demo」が、
「どこでもSentiment Analysis」という名前に変わっていました。
# DO KO DE MOでしょうか・・

しかもブックマークレットまでついて素晴らしいっす。
ブックマークレットを使うことで手軽にWebページのポジネガ判定ができます。

[O] Ajaxでポジネガ判定 「Sentiment Analysis - demo」の解析結果


解析の精度はともかく、かなりいい感じですよね。
ブログの記事に直接ポジティブ・ネガティブが振られると、
非常に分かりやすいなと思います。

以下、乾さんによるサービスの説明です。

「どこでもSentiment Analysis」という名前には、
いろいろな野望が秘められている気もしますね。

ともかく、とても楽しいサービスなので沢山遊びたいと思います。

▼関連リンク
- [O] Ajaxでポジネガ判定 「Sentiment Analysis - demo」がバージョンアップ
- [O] PN単語辞書 - 単語感情極性対応表

IOB2フォーマットは、トークンがチャンクに含まれるか否かの状態を示すため
のタグ付与方法を定義している。

トークン : 文の中の単語・構成要素
# POS区切りされた断片とか

チャンク : 見た目のまとまり、または、意味的なまとまり
# POS区切りされた断片を集めた固有名詞とか

・IOB2フォーマット

タグ	用途
I	チャンク中の先頭以外のトークンに付与
O	チャンクに含まれないトークンに付与
B	チャンク中の先頭トークンに付与

すべてのトークンが何らかのチャンクに含まれるようなタスクの場合には、
Oタグを付与されるものが無いことになる。

Heが名詞句(noun phrase)としての意味を持つ、
1トークンからなるチャンクの場合には「B-NP」という
IOB2タグが付与される。

工藤拓さんのCRF++のページに、
IOB2フォーマットによってタグ付けしたデータの例がある。



ちなみに、1列目:表層、2列目:POSタグ、3列目:IOB2フォーマットタグ
となっている。文末のピリオドに対応するトークンには、
他のチャンクと同じような、語としての意味がない。
そのためチャンク外としてOが付与されている。

トークンからどのようなチャンクを取り出したいかによって、
IOB2タグの付与方法は変わる。タスク依存。

たとえば、トークンから固有名詞を取り出したいときには、
固有名詞に対応するトークンだけB or Iタグが付与できて、
その他のすべてのトークンにはOタグを付与できるかもしれない。

ちなみに、上記のようなタグ付け済みデータを用意すれば、
CRF++やYamChaを学習させることができるので、
トークンからの目的とするチャンクの抽出ができるようになる。はず。

▼関連記事
- [O] PN単語辞書 - 単語感情極性対応表

東工大奥村研の助手の高村さんの単語感情極性対応表。
とてもおもしろいのでオススメ。

高村さんの単語感情極性対応表