https://www.bravotouring.com/~yano/archives/2007/11/02/ Recent content in 2007/11/02 on Yano's digital garage Hugo en-us Fri, 02 Nov 2007 23:41:56 +0900 https://www.bravotouring.com/~yano/diary/it/20071102ngram.htm Fri, 02 Nov 2007 23:41:56 +0900 https://www.bravotouring.com/~yano/diary/it/20071102ngram.htm <p>今日、気になったのが<a href="http://itpro.nikkeibp.co.jp/article/NEWS/20071101/286215/">グーグルが「N-gramデータ」を公開した</a>という記事。<blockquote cite="http://itpro.nikkeibp.co.jp/article/NEWS/20071101/286215/">グーグルでは、<span class="Strong">200億文</span>に上る日本語データを解析したという。含まれている単語は、約2550億個。1～7gramのデータを公開しており、例えば7-gramのデータは11億種類以上にも上る。</blockquote>という事だ。</p> <p>ここで言う「N-gram言語モデル」というのは「N-1」個の言葉の流れから「N」番目目にくるであろう言葉を予測する手法で、漢字変換等でも最近お馴染みのAI予測方面でよく使われている技術。<a href="http://www.google.co.jp/">Google</a>の「もしかして」機能の副産物かと思ったら、それとは無関係にWebから抽出した<span class="Strong">2550億単語</span>、<span class="Strong">200億文</span>を解析した結果だという。</p> <p>そもそも「N-gram言語モデル」を空白区切りの無い日本語に適用するには単語分割という大きな障害があるわけだが、<a href="https://ja.wikipedia.org/wiki/MeCab">MeCab</a>を開発した<a href="http://www.naist.jp/">NAIST(奈良先端科学技術大学院大学)</a>松本研究室の<span class="Person">工藤拓</span>氏が<a href="http://www.google.co.jp/">Google</a>のエンジニアとして絡んでいたと知って、どうりで納得。</p> <p>資金も頭脳も集まるとこには自然と集まるんだなぁ…</p> <p class="Reference">【参照】 <br/>●日経ITPro <a href="http://itpro.nikkeibp.co.jp/">http://itpro.nikkeibp.co.jp/</a> <br/>┣<a href="http://itpro.nikkeibp.co.jp/article/COLUMN/20051104/224040/">作って理解するAjax --- No.1古くて新しいアーキテクチャ</a> 2005年11月4日 <br/>┗<a href="http://itpro.nikkeibp.co.jp/article/NEWS/20071101/286215/">グーグルが大規模な日本語の解析データを公開、「20％ルール」の成果</a> 2007年11月1日 <br/>●技術評論社 <a href="https://gihyo.jp/">https://gihyo.jp/</a> <br/>┣<a href="https://gihyo.jp/dev/serial/01/make-findspot">検索エンジンを作る：連載</a> <br/>┣<a href="https://gihyo.jp/dev/serial/01/make-findspot/0001">第1回 こんな検索エンジンが欲しい!：検索エンジンを作る</a> 2007年4月27日 <br/>┗<a href="https://gihyo.jp/dev/serial/01/make-findspot/0005">第5回 N-gramのしくみ：検索エンジンを作る</a> 2007年7月18日 <br/>●Google Japan Blog <a href="http://googlejapan.blogspot.com/">http://googlejapan.blogspot.com/</a> <br/>┗<a href="http://googlejapan.blogspot.com/2007/11/n-gram.html">大規模日本語 n-gram データの公開</a> 2007年11月1日 <br/>●言語資源協会(GSK) <a href="http://www.gsk.or.jp/">http://www.gsk.or.jp/</a> <br/>┗<a href="http://www.gsk.or.jp/catalog/GSK2007-C/catalog.html">GSK2007-C Web日本語Nグラム第1版</a> <br/>●＠IT自分戦略研究所 <a href="http://jibun.atmarkit.co.jp/">http://jibun.atmarkit.co.jp/</a> <br/>┗<a href="http://jibun.atmarkit.co.jp/lcareer01/rensai/cas003/cas001.html">「ググる」の精度を高めるために必要なもの</a> 2006年3月15日 <br/>●NAIST Computational Linguistics <a href="https://www.naist.jp/">https://www.naist.jp/</a> <br/>┗<a href="http://cl.naist.jp/">松本研究室</a> <br/>●Wikipedia <a href="https://ja.wikipedia.org/wiki/">https://ja.wikipedia.org/wiki/</a> <br/>┣<a href="https://ja.wikipedia.org/wiki/%E5%A5%88%E8%89%AF%E5%85%88%E7%AB%AF%E7%A7%91%E5%AD%A6%E6%8A%80%E8%A1%93%E5%A4%A7%E5%AD%A6%E9%99%A2%E5%A4%A7%E5%AD%A6">奈良先端科学技術大学院大学</a> <br/>┣<a href="https://ja.wikipedia.org/wiki/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90">形態素解析</a> <br/>┣<a href="https://ja.wikipedia.org/wiki/MeCab">MeCab</a> <br/>┣<a href="https://ja.wikipedia.org/wiki/Namazu">Namazu</a> <br/>┗<a href="https://ja.wikipedia.org/wiki/ChaSen">ChaSen</a> </p>