2005年1月10日
2004年のWeb検索は新旧交代の年
◆日本語検索エンジンの検索結果評価
| 2005.1.5 | Naver | Yahoo | Ask | Infoseek | MSN | |
| 指 数 | 100.0 | 87.9 | 81.8 | 76.5 | 64.5 | 61.7 |
| 増減 | ---- | +20.2 | -4.9 | +3.8 | +5.6 | +4.6 |
久しぶりに検索評価を実施しました。2004年に新規にオープンした検索エンジンは、6月1日にYahoo、8月20日にAsk.jp、10月1日にMSN-β、一方、クローズしたのは、AltaVista、Alltheweb、AAA!Cafe、です。日本語のロボット系検索サイトにとって、2004年は新旧交代の年でした。
.
1. Google
定量的な検索結果のランキング評価において、2004年のGoogleは年間トップの座を占めました。一部のSEOやブログがGoogleのリンクシステムに悪影響を与えましたが、それらを克服し、最近は多様な検索の場を提供しています。他の検索サイトがリンクベースかそれ以上の検索システムを開発しない限りトップを維持するものと思われます。今後、データベースの切り口次第で何がでてくるのか楽しみです。
.
2. Naver
最新の調査で、Naverは2位でした。検索数調査で、8月27日、10月22日、12月3日に10%から30%増加しています。その間に検索システムの変更があったようです。知識検索やLive!キーワードなど、話題が多いですが、時々URLに冗長がみられ、他に較べて更新が遅いように感じられます。
.
3. Yahoo!
検索サービスを独自の検索エンジンに切り替えたYahooですが、ベースはInktomiのようです。YahooはAltaVistaやAllthewebも買収してますので、それらの検索システムの良いところを組み合わせた統合システム作りは難しかったようです。多言語データベースをUTF-8に統一したため、時間的な余裕がなかったのかも知れません。鳴り物入りでオープンした割には、ランキング結果はよくなく、少しがっかりしています。データ数が多いのと更新が早いことで少しは評価できます。
.
4. Ask.jp
米Teomaを買収したAsk.comの日本語版のAsk.jpが8月20日にオープンしました。検索結果のResults以外に、RefineやResourcesを表示するのが評価されています。RefineやResourcesがアルゴリズムによって得るのか、それとも人為的に得るのか、によって評価は分かれます。
.
5. Infoseek
メインの検索はGoogleですが、ユーザーの多いInfoseek独自の検索システムは維持管理され、検索できます。検索数調査では、以前と同様、毎週更新され、微増しています。新しい分野のブログ関連の情報が少ないようですが、収集分野を絞り込んでいるのかも知れません。
.
6. MSN
10月に、MSNが検索エンジンの世界に参入してきました。まだ、ベータ版ということで、検索結果の評価も表のような状況です。従来、提携で検索サービスしてきましたが、これから検索技術のノウハウを蓄積しなければならず、時間がかかりそうです。
.
YahooやMSNが独自の検索エンジンを開発するとのこと、実力からして大いに期待していました。しかし、検索結果評価は思わしくなく、期待外れでした。それが原因ではないのですが、検索力調査レポートを半年以上も休み、大変ご迷惑をおかけしました。リンクがポイントと言われて久しいですが、YahooもMSNもまだ糸口を見つけてないようです。開発力がありますので、時が解決するものと再期待しています。
.
検索エンジンは、Google、Yahoo、そしてMSNに集約されると言われています。しかし、YahooにしてもMSNにしても、潜在的にユーザーが多く、検索を利用する人は必然的に多くなります。利用者数イコール検索システムの優秀さという錯覚に陥らないようにしたいものです。
.
◆表：日本語検索エンジンの検索数
| 2005 .1.7 | 日本語 | Web全体 | ||||||||
| msn | naver | ask | seek | yahoo | fresh | msn | ||||
| 指 数 | 100.0 | 83.2 | 61.6 | 36.5 | 20.7 | 100.0 | 66.0 | 28.0 | 24.9 | |
| 増 減 | +1.9 | -4.3 | ---- | ---- | +0.2 | +0.7 | +2.5 | +2.6 | -3.7 | |
2004年の1年間を通して調査したのは、Google（143%増*）、Naver（44%増）、Fresheye（43%増）、Infoseek（25%増）、でした。年度途中で退場したのは、goo、AltaVista、Alltheweb、AAA!Cafe、一方、新規に登場したのは、Yahoo、Ask.jp、MSN-β、でした。
.
多言語検索システムを開発している関係で、検索結果の表示が、「日本語のみ」、「全言語」、から選択できます。日本語には漢字や英文も含まれますので、「全言語」にすると中国語や英語が含まれ、検索結果が冗長になります。「全言語」しか検索できないところ、両方あっても「全言語」がデフォルトになっているところがあります。後者のデフォルトは「日本語のみ」にしてもらいたいものです。なお、検索デスクは「日本語のみ」にセットしています。
*カッコ内の増加率は、2004年12月平均を2004年1月平均で割った数値です。
.
◆表：海外検索エンジンの検索数
| 2004 .12.31 | MSN | Yahoo | Teoma | a9 | WiseNut | |
| 指 数 | 100.0 | 82.0 | 61.0 | 56.2 | 34.0 | 9.1 |
| 増 減 | +3.6 | +0.1 | +7.0 | +0.3 | -5.0 | ---- |
2004年の検索数調査で、Google（168%増*）、Teoma（116%増）、Yahoo（106%増）、WiseNut（65%減）、とWiseNutを除いて、倍以上に増加しています。途中で退場したのは、Lycos、AltaVista、HotBot、Alltheweb、一方、新規は、MSNとa9でした。
.
2004年6月2日
Yahoo! Japan:独自ページ検索の開始
◆検索エンジンの動向
5月31日にYahoo! Japanが独自の検索エンジンを採用しました。したがって、検索数や検索結果評価に新たにYahooの調査を追加しました。.
まず、検索数調査でYahooは今までトップのfreshEYEに比べて約1.7倍の結果を示しました。米Yahooの検索数も他に比べて多く、検索数ではトップを維持しています。検索数調査の結果は、1位 Yahoo 100.0、2位 freshEYE 59.2、3位 Google 56.3、と下部の表のようになりました。
.
Yahooのデータ数は公表されてませんが、Webの場合、情報量の異なる分野から収集するため、データ数自体あまり意味がなくなりつつあります。その点、検索数調査は有力ですが、検索サイトにおける検索数のカウント方法が異なるため、同じ次元で比較するのも難しくなっています。
.
次に検索結果の評価を行いました。新たにYahooのデータを追加し、他の検索サイトのデータは前のものを使いました。YahooとfreshEYEの検索結果は類似しているため、一緒に評価すると互いに有利になるため、評価基準の作成の際にはfreshEYEを外しました。そのため、freshEYEの評価は少し不利になっています。
.
検索評価は、1位 Google 100.0、2位 Yahoo 87.7、3位 freshEYE 69.7、と下部の表のような結果が得られました。新しく提供されたYahooのページ検索がどれ位の性能を持つのか、誰にもわかりません。検索をよく利用する人の主観的な評価はどうなるのか知りたいのですが、ランキングだけでない要因がありますのでなかなか解決しません。
.
YahooはAltaVista、Inktomi、Allthewebを買収しています。AltaVistaやAllthewebは多言語データベースを構築し、日本語コード問題を解決し、運用していました。InktomiはHotBotやgooを運用していましたが、日本語だけ別扱いのように感じました。
.
Yahooは先に英語の方を提供しましたが、その多言語データベースの日本語はまだ未提供です。日本語に設定して検索すると、一部の日本語文字列で検索できませんでした。これは米Yahooだけでなく、Allthewebでも同様な結果が示されるようになり、AltaVistaにいたっては日本語コードを受け付けなくなってしまいました。データベースをUnicodeに統一したためでいずれは解決するものと思っています。
.
しかし、今回の日本語検索サービスは米Yahooのとは異なってるようです。そのベースはAltaVista？、Inktomi？、Alltheweb？、のどれかです。Inktomiは、現在、freshEYEとMSNで運用しており、両者の検索結果は同じです。今回のYahooはそれらとは若干異なっていますが、紹介文の作成方法は同じです。ランキング方法の変更、データの増量、収集分野や時期の相違、などで結果は異なってきます。昨年秋までgooはInktomiを採用していましたが、今回のYahooは以前のgooのリバイバルなのかも知れません。
.
Googleには「Web全体から検索」と「日本語のページを検索」の検索オプションがあります。freshEYEは前者の「Web全体からの検索」だけしか検索できないですが、今回のYahooも同様に「Web全体からの検索」だけです。英語や中国語で使われるキー（例えば、vrml、文学、生物、など）で検索すると日本語だけの検索に比べて検索数は多くなる傾向があります。
.
リンクをベースにしたGoogleの検索はサイトとページの垣根を除くような検索をします。検索数が数十万以上の検索は本来ディレクトリーのサイト検索がカバーする領域です。ページ検索は検索数が1万に満たないような検索で本領をはっきするものと思っています。検索サイトがすべてのコンテンツを収集できない現状を考えると、できるだけ多くの異種の検索サイトが存在し、アクセスできることは意義のあることです。
.
◆表：内外検索エンジンの検索力（2004.06.01）
| No | 日 本 | 検索力 | 検索評価 | 検索数 | . | No | 海 外 | 検索数 |
| 1 | 100.0 | 100.0 | 56.3 | . | 1 | Yahoo! | 100.0 | |
| 2 | Yahoo | 98.8 | 87.7 | 100.0 | . | 2 | Teoma | 55.0 |
| 3 | Fresheye | 74.1 | 69.7 | 59.2 | . | 3 | 30.0 | |
| 4 | Naver | 65.7 | 64.7 | 41.0 | . | 4 | Alltheweb | 21.4 |
| 5 | Infoseek | 59.6 | 62.6 | 21.7 | . | 5 | WiseNut | 19.5 |
| 6 | AAA!Cafe | 58.5 | 60.8 | 23.9 | . | - | --- | --- |
◆表：日本語検索エンジンの検索結果評価
| 4〜6月 | Yahoo | Fresheye | Naver | Infoseek | Cafe | |
| 2004 .06.01 | 100.0 | 87.7* | 69.7 | 64.7 | 62.6 | 60.8 |
| 増減 | ---- | ---- | -7.2 | +1.0 | +2.2 | +2.4 |
◆表：日本語検索エンジンの検索数増減
| 4〜6月 | Yahoo | fresheye | naver | cafe | seek | |
| 検索数 | 100.0 | 59.2 | 56.3 | 41.0 | 23.9 | 21.7 |
| 増 減 | ==== | -2.1 | -1.7 | ---- | ---- | ---- |
| 2004 .05.31 | 43,062 | 22,398 | 22,367 | 14,500 | 8,607 | 7,569 |
◆表：海外検索エンジンの検索数増減
| 4〜6月 | Yahoo | Teoma | alltheweb | WiseNut | |
| 検索力 | 100.0 | 55.0 | 30.0 | 21.4 | 19.5 |
| 増 減 | -2.4 | ---- | +10.8 | -0.8 | +5.1 |
| 2004 .05.28 | 666,870 | 380,059 | 150,064 | 142,483 | 137,315 |
2004年5月8日
Amazonの検索エンジンa9、GoogleのIPO
検索数調査は毎週実施しています。4月9日から1ヶ月間の増減は、Google 9%増、NAVER 7%増、FreshEYE 6%増、infoseek 微増、そしてAAA!CAFE 変わらず、です。大きな増減はないものの、情報は着実に増加しています。なお、Yahoo!とAllthewebの日本語検索数は少し増加していますが、前回と同様、一部の検索キーの検索数はきわめて少なくなります。
.
海外の検索数調査は、この1ヶ月間で、Teoma 37.2%増、Google 3.0%増、WiseNut 2.1%増、Yahoo 0.8%増、Alltheweb 0.7%増、です。日本語と同様に、情報は増加しています。何も変化していないように見えますが、1ヶ月も経つと変化は感じられます。
.
3月末に多くの検索サイトがリニューアルをしました。それが一段落した4月9日に検索評価を実施しました。再評価したのは、Google、FreshEYE、NAVER、です。NAVERの評価は41.4増加しました。これは3月初めに評価が悪くなったのが、元に戻ったものです。評価順は、1位 Google、2位 FreshEYE、3位 NAVER、4位 infoseek、5位 AAA!CAFE、です。一位と2位以下との差が開きました。これはGoogleのランキングがよくなったからと思われます。
.
書籍販売のアマゾンは検索エンジンa9のベータ版を公開しました。検索数は35.5でGoogleよりも多く、3位です。英語が主ですが、ブラウザIEで日本語が使えました。検索結果はGoogleの検索結果にアマゾンの子会社Alexaのサイト情報を付加し、アマゾン本体の書籍検索結果、そして検索履歴（登録者のみ利用可）、からなります。
.
検索結果の構成をGoogleと比較すると、Googleは紹介文、キャッシュ、関連情報、a9は紹介文（半分位の長さ）、キャッシュ、サイト情報、です。a9のサイト情報のリンク上にカーソルを置くとTraffic RankやSites the Link hereなどの情報がポップアップし、クリックするとAlexaの詳細情報を表示します。
.
アマゾン系のa9、Alexa、WayBackの検索フォームは非常にシンプルにできています。特にa9の検索結果のURLは、http://www.a9.com/検索キー、です。ブラウザIEの上部にあるアドレスバーにhttp://www.を省略したa9.com/検索キーを入力するとa9の検索をします。例えば、a9.com/amazon、a9.com/"search engine"、http://www.a9.com/検索、などです。
.
Googleは、従来、自社で構築したデータベースを検索サービスしてきましたが、今回、専門データベースをもつ他企業と提携し、専門検索サービスを始めました。これはGoogleの検索ポータル化の第1歩とみなせます。日本経済新聞社の企業情報と株価、ALCの和英・英和辞典、ぐるなびと駅前探険倶楽部の乗り換え、そしてヤマトの荷物問い合わせ、の5種類です。これらは特定の用語（コマンド）と検索キーとで実現します。例えば、「ヤマト 伝票番号」。Googleしか通用しない特定の用語が増大することは望ましくなく、好みにもよりますが、ラジオボタンの方がすっきりします。
.
さて、今年度の検索業界で一番のトピックスになるのはGoogleの株式公開(IPO)です。4月29日に書類が提出され、スタートしました。8年前に、Yahoo、Excite、Infoseek、LycosがIPOしましたが、現在はYahooが勝ち組として残っています。GoogleはこれまでにIPOの機会はあったのですが、ITバブルに遭遇し遅れていたものです。IPOにあたりバブル時代の過大な期待を排除する心遣いがなされています。投資家の狂騒をどこまで押さえれるか。。。
.
数年かけてWeb検索の覇者になったGoogleですが、これからは利益や株主貢献などの荒波が4半期ごとに押し寄せてきます。しかし、Googleは、(1)4半期ごとの短期利益を追求しない、(2)買収対策？のための株主への対応、など新しい方法を試みようとしています。Yahooはディレクトリからポータルの道へ進みました。成熟したWebになってしまいましたが、得られた資金で新しい世界を築いてもらいたいものです。Webの世界から実世界へ、当分の間、Googleの葛藤が続きそうですね。
.
.
海外の検索数調査は、この1ヶ月間で、Teoma 37.2%増、Google 3.0%増、WiseNut 2.1%増、Yahoo 0.8%増、Alltheweb 0.7%増、です。日本語と同様に、情報は増加しています。何も変化していないように見えますが、1ヶ月も経つと変化は感じられます。
.
3月末に多くの検索サイトがリニューアルをしました。それが一段落した4月9日に検索評価を実施しました。再評価したのは、Google、FreshEYE、NAVER、です。NAVERの評価は41.4増加しました。これは3月初めに評価が悪くなったのが、元に戻ったものです。評価順は、1位 Google、2位 FreshEYE、3位 NAVER、4位 infoseek、5位 AAA!CAFE、です。一位と2位以下との差が開きました。これはGoogleのランキングがよくなったからと思われます。
.
書籍販売のアマゾンは検索エンジンa9のベータ版を公開しました。検索数は35.5でGoogleよりも多く、3位です。英語が主ですが、ブラウザIEで日本語が使えました。検索結果はGoogleの検索結果にアマゾンの子会社Alexaのサイト情報を付加し、アマゾン本体の書籍検索結果、そして検索履歴（登録者のみ利用可）、からなります。
.
検索結果の構成をGoogleと比較すると、Googleは紹介文、キャッシュ、関連情報、a9は紹介文（半分位の長さ）、キャッシュ、サイト情報、です。a9のサイト情報のリンク上にカーソルを置くとTraffic RankやSites the Link hereなどの情報がポップアップし、クリックするとAlexaの詳細情報を表示します。
.
アマゾン系のa9、Alexa、WayBackの検索フォームは非常にシンプルにできています。特にa9の検索結果のURLは、http://www.a9.com/検索キー、です。ブラウザIEの上部にあるアドレスバーにhttp://www.を省略したa9.com/検索キーを入力するとa9の検索をします。例えば、a9.com/amazon、a9.com/"search engine"、http://www.a9.com/検索、などです。
.
Googleは、従来、自社で構築したデータベースを検索サービスしてきましたが、今回、専門データベースをもつ他企業と提携し、専門検索サービスを始めました。これはGoogleの検索ポータル化の第1歩とみなせます。日本経済新聞社の企業情報と株価、ALCの和英・英和辞典、ぐるなびと駅前探険倶楽部の乗り換え、そしてヤマトの荷物問い合わせ、の5種類です。これらは特定の用語（コマンド）と検索キーとで実現します。例えば、「ヤマト 伝票番号」。Googleしか通用しない特定の用語が増大することは望ましくなく、好みにもよりますが、ラジオボタンの方がすっきりします。
.
さて、今年度の検索業界で一番のトピックスになるのはGoogleの株式公開(IPO)です。4月29日に書類が提出され、スタートしました。8年前に、Yahoo、Excite、Infoseek、LycosがIPOしましたが、現在はYahooが勝ち組として残っています。GoogleはこれまでにIPOの機会はあったのですが、ITバブルに遭遇し遅れていたものです。IPOにあたりバブル時代の過大な期待を排除する心遣いがなされています。投資家の狂騒をどこまで押さえれるか。。。
.
数年かけてWeb検索の覇者になったGoogleですが、これからは利益や株主貢献などの荒波が4半期ごとに押し寄せてきます。しかし、Googleは、(1)4半期ごとの短期利益を追求しない、(2)買収対策？のための株主への対応、など新しい方法を試みようとしています。Yahooはディレクトリからポータルの道へ進みました。成熟したWebになってしまいましたが、得られた資金で新しい世界を築いてもらいたいものです。Webの世界から実世界へ、当分の間、Googleの葛藤が続きそうですね。
.
2004年4月4日
米Yahoo!新検索エンジンの登場
AltaVistaとAllthewebは、3月末に、独自検索エンジンの運用を終了しました。そして、4月1日から、米Yahooの新検索エンジンからの検索結果を提供しています。AltaVistaとAllthewebは多言語検索エンジンで、画面表示は英語ですが、表示設定の言語を日本語に設定することにより日本語検索ができました。独自の検索エンジンでないため、今回の検索調査から両検索サイトを除きました。
.
日本語検索数調査は、Fresheye 3.6%増、Google 5.3%増、などです。検索結果評価を実施する時期でしたが、検索フォームの変更が相次ぎ、次回に行います。前回のデータからAltaVistaとAllthewebを除いた5社の検索結果評価を実施しました。トップ Google、2位はFresheyeで、順位の変動はありませんでした。検索デスクで利用している検索評価システムが安定していることがわかり満足しています。
.
海外の検索数調査も、米Yahooの検索エンジン投入で変化がおきています。AltaVista、Alltheweb、HotBot、Lycosの4検索サイトが、ほとんど同じ結果を示しました。いわゆる、Powered by Yahoo! になったのですが、検索数調査から、データはYahooの約5分の1です。したがって、代表としてAllthewebを調査対象に加え、残りは外しました。
.
Yahoo!とOvertureのＭ＆Ａで、いずれ検索エンジンはYahoo!に統一されると思っていました。これが現実になると少し複雑な気持ちになります。検索数は、1位 Yahoo 100.0、2位 Teoma 36.1、と検索数に関してYahoo！は圧倒的です。しかし、検索結果のランキング性能はまだ未知数です。検索エンジンは高性能になり簡単に評価できなく、それにまだ立ち上げたばかりで試行錯誤が続いています。
.
Yahoo!の検索エンジンは多言語系です。米Yahoo!の検索画面にあるPreferenceで表示の設定ができます。言語項目で日本語をチェックすれば、日本語の検索ができます。しかし、残念なことに日本語コードを設定する項目はありません。AllthewebはShift-JISやEUC-Jなどの日本語コードを選択できたのですが、UTF-8だけのようです。3月中旬にAltaVistaの日本語コード変換ができなくなりました。これに関連していたものと思われます。
.
米Yahoo!で日本語検索をしました。調査キーの検索数は約2倍あり、7桁あります。しかし、一部の調査キーで検索数が3桁と極端に少なくなっています。そのキーは、楽器、時計、図書館、博物館、病気、野球、です。Powered by Yahoo!のAllthewebの日本語検索はYahoo!の3分の1位、Yahoo!と同じキーで検索結果が少ない現象がおきています。検索数が多い検索はサイト検索だけするのかも知れません。このコード問題が解決すれば、日本語Yahooが登場するものと思われます。
.
4月1日には一部の検索サイトがリニューアルしました。CSJのiNETGuideがWhat's Bestと統一し、おすすめサイトを集めたディレクトリとして衣替えしました。ディレクトリですが、AAA!CafeはOpen DirectoryからLooksmartへ、BiglobeはLooksmartからJListingへと変更しています。6==h6 Webが発展し、コンテンツが膨大になり、検索エンジンの維持費が膨大になり、今後はさらに寡占化が進みます。1996年から1998年にかけて、ディレクトリ系やロボット系サイトが十数社競い合っていた頃がなつかしく思われます。
.
.
日本語検索数調査は、Fresheye 3.6%増、Google 5.3%増、などです。検索結果評価を実施する時期でしたが、検索フォームの変更が相次ぎ、次回に行います。前回のデータからAltaVistaとAllthewebを除いた5社の検索結果評価を実施しました。トップ Google、2位はFresheyeで、順位の変動はありませんでした。検索デスクで利用している検索評価システムが安定していることがわかり満足しています。
.
海外の検索数調査も、米Yahooの検索エンジン投入で変化がおきています。AltaVista、Alltheweb、HotBot、Lycosの4検索サイトが、ほとんど同じ結果を示しました。いわゆる、Powered by Yahoo! になったのですが、検索数調査から、データはYahooの約5分の1です。したがって、代表としてAllthewebを調査対象に加え、残りは外しました。
.
Yahoo!とOvertureのＭ＆Ａで、いずれ検索エンジンはYahoo!に統一されると思っていました。これが現実になると少し複雑な気持ちになります。検索数は、1位 Yahoo 100.0、2位 Teoma 36.1、と検索数に関してYahoo！は圧倒的です。しかし、検索結果のランキング性能はまだ未知数です。検索エンジンは高性能になり簡単に評価できなく、それにまだ立ち上げたばかりで試行錯誤が続いています。
.
Yahoo!の検索エンジンは多言語系です。米Yahoo!の検索画面にあるPreferenceで表示の設定ができます。言語項目で日本語をチェックすれば、日本語の検索ができます。しかし、残念なことに日本語コードを設定する項目はありません。AllthewebはShift-JISやEUC-Jなどの日本語コードを選択できたのですが、UTF-8だけのようです。3月中旬にAltaVistaの日本語コード変換ができなくなりました。これに関連していたものと思われます。
.
米Yahoo!で日本語検索をしました。調査キーの検索数は約2倍あり、7桁あります。しかし、一部の調査キーで検索数が3桁と極端に少なくなっています。そのキーは、楽器、時計、図書館、博物館、病気、野球、です。Powered by Yahoo!のAllthewebの日本語検索はYahoo!の3分の1位、Yahoo!と同じキーで検索結果が少ない現象がおきています。検索数が多い検索はサイト検索だけするのかも知れません。このコード問題が解決すれば、日本語Yahooが登場するものと思われます。
.
4月1日には一部の検索サイトがリニューアルしました。CSJのiNETGuideがWhat's Bestと統一し、おすすめサイトを集めたディレクトリとして衣替えしました。ディレクトリですが、AAA!CafeはOpen DirectoryからLooksmartへ、BiglobeはLooksmartからJListingへと変更しています。6==h6 Webが発展し、コンテンツが膨大になり、検索エンジンの維持費が膨大になり、今後はさらに寡占化が進みます。1996年から1998年にかけて、ディレクトリ系やロボット系サイトが十数社競い合っていた頃がなつかしく思われます。
.
2004年3月2日
情報を探せないときの問題点
今週の検索数調査は、Google 6.6%増、Fresheye 0.3%減、と2検索サイトだけで、他の5検索サイトの変化はありませんでした。これは今までになかったことです。海外の検索数調査で変化したのは8検索サイトのうち4検索サイトで、しかも2%以内と低調でした。
.
今回は全検索サイトの検索評価を実施しました。トップはGoogleの100.0、2位はAltaVistaの92.2、3位はFresheyeの79.8、とトップとの差が開いてしまいました。Naverが今回21.1と大きく低下しました。その理由はわかりませんが、サイトへのウェイトが少なく、昔のようにページ主体の検索になってるようです。最近の検索サイトの傾向として、KWIC形式の紹介文を取り入れるところが多くなってきました。
.
Web検索で満足な結果を得ていますか。数年前に較べてコンテンツも増加し、検索エンジンもよくなってきましたので、あまり検索サイトへの不平や不満は聞かれなくなっています。しかし、情報を探せないときがあります。そのような時はどこかにエラーやミスが入っているかも知れません。その際に考慮するポイントを示します。
.
１）コンテンツ作成
コンテンツはプロが作ったものから素人が作ったものまでいろいろあります。会社のコンテンツのように真正面から扱うものからBBSのように何ら校正もない即時的なものまであります。コンテンツの中にある不適切な用語や誤字はそのまま検索エンジンで処理されてしまいます。
.
２）データ収集
Webコンテンツは新しいページを追加・蓄積するだけでなく、現在あるページも部分修正され新しいものに更新されます。検索ロボットがいつの時点にどれだけ収集するかは検索結果に影響を与えます。時間軸があってないような世界ですが、コンテンツの追加・更新・削除などに対応した収集は重点的になっています。
.
３）収集ページの索引化
英語のように空白で区切られるのと異なり、日本語は句読点までシームレスに文字列が続きます。そこから意味のある単語を切り出すわけですから大変です。日本語文字列は、漢字、ひらがな、カタカナ、英語、数字、記号などから構成されますので、ある程度のヒントは隠されています。しかし、フレーズのような文字列を単語としてバラバラにあつかう場合が多くなってきましたので、フレーズ概念の普及が必要になってきました。
.
４）データベースの選択
YahooやGoogleなどの検索サイトを使用するだけである程度探せますが、ニュース、マネー、ソフト、地図、時刻表などの専門検索サイトを使いこなせるようになると検索可能性は高くなります。検索キーワードを考える前にどの検索サイトを使うかを選択するのが先決です。
.
５）検索キーワードの選定
ビギナーのうちは検索キーを考えることは難しく、慣れるには経験を通して学ぶ以外方法はありません。検索数の多い場合は複数のキーを並べて絞り込むことが必要です。適切な検索キーが浮かばない場合でも、少しでも手がかりになるものを入力すると新しい発見ができます。入力ミスで間違ったキーを入力しても、修正する機能をもつ検索サイトもあります。
.
６）検索結果の紹介文
検索結果はタイトルと紹介文などがランク順に表示されます。探している情報のありかはタイトルから判断できますが、紹介文も有力な情報です。紹介文が不適切なために情報のあるサイトを素通りすることもあります。ページの紹介文はアブストラクト（抄録）とみなされていましたが、やはりKWIC形式の方が優れています。検索サイトがKWIC形式かアブストラクト形式か見分けることも大切です。
.
情報が探せないときに、どこに問題があるか、参考になれば幸いです。
.
.
今回は全検索サイトの検索評価を実施しました。トップはGoogleの100.0、2位はAltaVistaの92.2、3位はFresheyeの79.8、とトップとの差が開いてしまいました。Naverが今回21.1と大きく低下しました。その理由はわかりませんが、サイトへのウェイトが少なく、昔のようにページ主体の検索になってるようです。最近の検索サイトの傾向として、KWIC形式の紹介文を取り入れるところが多くなってきました。
.
Web検索で満足な結果を得ていますか。数年前に較べてコンテンツも増加し、検索エンジンもよくなってきましたので、あまり検索サイトへの不平や不満は聞かれなくなっています。しかし、情報を探せないときがあります。そのような時はどこかにエラーやミスが入っているかも知れません。その際に考慮するポイントを示します。
.
１）コンテンツ作成
コンテンツはプロが作ったものから素人が作ったものまでいろいろあります。会社のコンテンツのように真正面から扱うものからBBSのように何ら校正もない即時的なものまであります。コンテンツの中にある不適切な用語や誤字はそのまま検索エンジンで処理されてしまいます。
.
２）データ収集
Webコンテンツは新しいページを追加・蓄積するだけでなく、現在あるページも部分修正され新しいものに更新されます。検索ロボットがいつの時点にどれだけ収集するかは検索結果に影響を与えます。時間軸があってないような世界ですが、コンテンツの追加・更新・削除などに対応した収集は重点的になっています。
.
３）収集ページの索引化
英語のように空白で区切られるのと異なり、日本語は句読点までシームレスに文字列が続きます。そこから意味のある単語を切り出すわけですから大変です。日本語文字列は、漢字、ひらがな、カタカナ、英語、数字、記号などから構成されますので、ある程度のヒントは隠されています。しかし、フレーズのような文字列を単語としてバラバラにあつかう場合が多くなってきましたので、フレーズ概念の普及が必要になってきました。
.
４）データベースの選択
YahooやGoogleなどの検索サイトを使用するだけである程度探せますが、ニュース、マネー、ソフト、地図、時刻表などの専門検索サイトを使いこなせるようになると検索可能性は高くなります。検索キーワードを考える前にどの検索サイトを使うかを選択するのが先決です。
.
５）検索キーワードの選定
ビギナーのうちは検索キーを考えることは難しく、慣れるには経験を通して学ぶ以外方法はありません。検索数の多い場合は複数のキーを並べて絞り込むことが必要です。適切な検索キーが浮かばない場合でも、少しでも手がかりになるものを入力すると新しい発見ができます。入力ミスで間違ったキーを入力しても、修正する機能をもつ検索サイトもあります。
.
６）検索結果の紹介文
検索結果はタイトルと紹介文などがランク順に表示されます。探している情報のありかはタイトルから判断できますが、紹介文も有力な情報です。紹介文が不適切なために情報のあるサイトを素通りすることもあります。ページの紹介文はアブストラクト（抄録）とみなされていましたが、やはりKWIC形式の方が優れています。検索サイトがKWIC形式かアブストラクト形式か見分けることも大切です。
.
情報が探せないときに、どこに問題があるか、参考になれば幸いです。
.
2004年2月15日
Powerd by Googleの検索結果について
検索数調査でGoogleは30%増加しましたが、先々週の30%減が元に戻ったようです。Naverは先週約50%減の半分になりました。総合の検索力の順位も変化なしです。海外の検索数調査はYahoo! 7.5%減、Google 6.6%増ですが、いずれも2〜3週間前の状態に戻ったものです。
.
さて、今回はGoogleとPowerd by Googleの6検索サイトとの検索結果について調べました。Googleの検索は、1)日本語のページを検索、2)ウェブ全体からの検索、の2種類あります。また、検索サイトの中には、関連ページのインデント表示をするのと、しないのとがあり、これらから3つのタイプに分類できます。なお、検索数についても調べました。
.
１）Biglobe、Infoseek -- 日本語のページ検索、インデント表示する（白色）
検索数はGoogleの約30%で、Googleとほとんど同じ検索結果を示します。
.
２）goo、@nifty、Yahoo -- 日本語のページ検索、インデント表示しない（黄色）
検索数はGoogleの約30%、Yahooは40%です。検索結果の順序は同じですが、インデント表示しないため冗長に感じられます。
.
３）Excite -- ウェブ全体からの検索、インデント表示する（ピンク）
検索数は日本語に比べて3.5倍、Exciteはその40%位です。中国語でよく使われる漢字や、英語などを検索すると、中国語や英語のページが上位に表示されます。
.
.
さて、今回はGoogleとPowerd by Googleの6検索サイトとの検索結果について調べました。Googleの検索は、1)日本語のページを検索、2)ウェブ全体からの検索、の2種類あります。また、検索サイトの中には、関連ページのインデント表示をするのと、しないのとがあり、これらから3つのタイプに分類できます。なお、検索数についても調べました。
.
１）Biglobe、Infoseek -- 日本語のページ検索、インデント表示する（白色）
検索数はGoogleの約30%で、Googleとほとんど同じ検索結果を示します。
.
２）goo、@nifty、Yahoo -- 日本語のページ検索、インデント表示しない（黄色）
検索数はGoogleの約30%、Yahooは40%です。検索結果の順序は同じですが、インデント表示しないため冗長に感じられます。
.
３）Excite -- ウェブ全体からの検索、インデント表示する（ピンク）
検索数は日本語に比べて3.5倍、Exciteはその40%位です。中国語でよく使われる漢字や、英語などを検索すると、中国語や英語のページが上位に表示されます。
.
2004年2月8日
検索調査に使う検索キーについて
以下の表は、検索調査に使う検索キーについて各検索サイトごとの検索結果1位から5位までを示しました。番号はGoogle(日本語)をベースにしています。表中の1,1'などダッシュはインデント表示の部分、中は中国語、英は英語です。
.
最初調べたときは順序が乱れていましたが、次の日に再確認したところ、表のように順序の移動は見られなくなりました。Powered by Google の検索数は30〜40%と減少していますが、リンクベースの検索システムではランクに影響しないことがわかります。なお、検索評価の際にはインデント部分を除いたものを使っています。
.
.
最初調べたときは順序が乱れていましたが、次の日に再確認したところ、表のように順序の移動は見られなくなりました。Powered by Google の検索数は30〜40%と減少していますが、リンクベースの検索システムではランクに影響しないことがわかります。なお、検索評価の際にはインデント部分を除いたものを使っています。
.
| 検索サイト | 文学 | 生物 | vrml | 博物館 | マーケット |
| Google(日) | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| Biglobe | 1,2,3,4,5 | 1,3,2,4,8 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| Infoseek | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| goo | 1,2,3,4,5 | 1,1',2,3,4 | 1,1',2,2',3 | 1,2,2',3,4 | 1,2,2',3,4 |
| @nifty | 1,2,3,4,5 | 1,1',2,3,4 | 1,1',2,2',3 | 1,2,2',3,4 | 1,2,2',3,4 |
| Yahoo | 1,2,3,4,5 | 1,1',3,2,4 | 1,1',2,2',3 | 1,2,2',3,4 | 1,2,2',3,4 |
| Google(ウ) | 中,中,中,中,中 | 1,2,3,4,中 | 英,英,英,英,英 | 1,2,3,4,5 | 1,2,3,4,5 |
| Excite | 中,中,中,中,中 | 1,2,3,4,中 | 英,英,英,英,英 | 1,2,3,4,5 | 1,2,3,4,5 |
| 検索サイト | グルメ | 時計 | 図書館 | ドメイン | 病気 |
| Google(日) | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| Biglobe | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| Infoseek | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| goo | 1,2,3,3',4 | 1,1',2,2',3 | 1,1',2,3,3' | 1,2,3,4,4' | 1,1',2,2',3 |
| @nifty | 1,2,3,4,5 | 1,2,2',3,4 | 1,1',2,3,4 | 1,2,3,4,4' | 1,1',2,3,4 |
| Yahoo | 1,2,3,3',4 | 1,1',2,2',3 | 1,1',2,3,3' | 1,2,3,4,4' | 1,1',2,3,4 |
| Google(ウ) | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| Excite | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| 検索サイト | イントラネット | 楽器 | コミック | ヒント | 野球 |
| Google(日本語) | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| Biglobe | 1,3,2,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| Infoseek | 1,3,2,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| goo | 1,3,2,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| @nifty | 1,3,2,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 |
| Yahoo | 1,3,2,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,6 |
| Google(ウェブ) | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,6 |
| Excite | 1,3,2,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,5 | 1,2,3,4,6 |
2004年1月31日
海外検索サイトの検索項目、プライベート情報
検索数の増減は、Google 32.4%減、Fresheye 6.9%増、海外は、Yahoo 9.0%増、AltaVista 5.8%増、Google 30.0%減、でした。Googleが日米とも30%以上の減少です。保守中に調査したのかも知れませんが、それにしても増減が激しすぎます。検索評価はGoogleだけ実施しました。Google以外のすべての検索エンジンが1.8から2.7に増加していますが、これはGoogleの検索評価が悪くなり、他が相対的によくなったためとみなせます。なんだかGoogleの試行実験につき合わされてるように感じています。
.
ディレクトリから出発した米Yahoo!は11月初めにトップページを変更しWeb検索を強化しました。3ヶ月間の試行期間を経た1月末にGoogleを使ったWeb検索を終了し、独自の検索エンジンに全面的に切り替えたようです。米Yahoo!系列になったAlltheweb、AltaVista、HotBotなどの検索サイトが存続するのか、その使命を終えるのか、気になるところです。海外検索サイトの検索項目をリストしました。
.
検索項目はそれぞれ独自のデータベースを持ち、検索に応じています。Web検索は8検索サイト、Imageは5、Newsは4、DirectoryはYahooとGoogle、VideoとAudioはAllthewebとAltaVista、ShoppingはYahooとLycos、です。これらよりも独自にサービスしている項目が検索サイトの特徴を表しているのかも知れません。AllthewebはFTPfiles、AltaVistaはDictionary、GoogleはGroups、YahooはYellowPage、などです。
.
Googleが公共のデータベースWhoisを検索サービスしたところアクセスが増加し、Whoisの利用限度を超えたためサービスを停止したとの記事がありました。Whoisにはプライベートなデータが含まれています。人によりプライベートの解釈が異なっているのかも知れません。同じ記事の中に有料でメールアドレスを非公開にするサービスを始めたとのこと、プライベートを守るためにお金を払わなければならなくなってきました。
.
今回のウイルスMyDoomは通常のスパムメールが霞んでしまうほど沢山到着しています。プロバイダのメールチェックで削除されますので安心ですが、早く収束してもらいたいものです。
.
.
ディレクトリから出発した米Yahoo!は11月初めにトップページを変更しWeb検索を強化しました。3ヶ月間の試行期間を経た1月末にGoogleを使ったWeb検索を終了し、独自の検索エンジンに全面的に切り替えたようです。米Yahoo!系列になったAlltheweb、AltaVista、HotBotなどの検索サイトが存続するのか、その使命を終えるのか、気になるところです。海外検索サイトの検索項目をリストしました。
.
| 検索サイト | 種類 | 検索項目 |
| Alltheweb | 6 | Web, News, Picture, Video, Audio, FTPfiles |
| AltaVista | 6 | Web, Image, MP3/Audio, Video, Dictionary, News |
| 5 | Web, Image, Groups, Directory, News | |
| Lycos | 3 | Web, Image, Shopping |
| Yahoo | 6 | Web, Image, Directory, YellowPages, News, Products |
| Webのみ： HotBot, Teoma, WiseNut | ||
検索項目はそれぞれ独自のデータベースを持ち、検索に応じています。Web検索は8検索サイト、Imageは5、Newsは4、DirectoryはYahooとGoogle、VideoとAudioはAllthewebとAltaVista、ShoppingはYahooとLycos、です。これらよりも独自にサービスしている項目が検索サイトの特徴を表しているのかも知れません。AllthewebはFTPfiles、AltaVistaはDictionary、GoogleはGroups、YahooはYellowPage、などです。
.
Googleが公共のデータベースWhoisを検索サービスしたところアクセスが増加し、Whoisの利用限度を超えたためサービスを停止したとの記事がありました。Whoisにはプライベートなデータが含まれています。人によりプライベートの解釈が異なっているのかも知れません。同じ記事の中に有料でメールアドレスを非公開にするサービスを始めたとのこと、プライベートを守るためにお金を払わなければならなくなってきました。
.
今回のウイルスMyDoomは通常のスパムメールが霞んでしまうほど沢山到着しています。プロバイダのメールチェックで削除されますので安心ですが、早く収束してもらいたいものです。
.
2004年1月18日
AND検索とOR検索のシームレス化、8周年Thanks
昨年暮れから2週間の検索数増減は、Google 21.4%増、Alltheweb 4.5%増、Fresheye 4.9%減、Naver 9.9%減、でした。昨年10月から始まったGoogleの検索数のぶれはまだ続いているようです。また、この2週間の海外検索エンジンの検索数はすべて4%以内で、静かなスタートでした。
.
検索結果のヒット数は検索キーによって、ゼロから数百万の範囲になります。ロボット系はページ、ディレクトリ系はサイト、と検索目的に応じて、使い分ければよいのですが、多くの利用者はページとサイトの区別をせずに検索しています。企業でも個人でもWeb検索を習得することは必須なのですが、体系的な教育を受けることなく、試行錯誤で検索技術を習得しているのが実情です。
.
数年前のダイヤルアップ接続時には、1回検索するのに少し気合を入れなければなりませんでした。まだWeb情報は少なく、キーワードの選択に失敗すると検索結果はゼロ、数十分間検索しても必要な情報が得られない場合が多々ありました。それが現在は常時接続のブロードバンド時代。少々ピントはずれの検索キーで検索しても、何らかの情報が入手できます。
.
これは質のよいWebコンテンツが増加したことと、検索エンジンの進歩によるものです。数年前に登録型ディレクトリは消滅しましたが、それは検索エンジンがサイトのウェイトを高くして、検索結果の上位に表示できるようにしたため、ページとサイトを区別することなくシームレスに扱えるようになったからです。
.
データ収集にコストがかかるようなデータ量の少ないデータベースの検索は検索結果がゼロになるため、複数キーのOR検索を返すのがベターでした。しかし、Webのように膨大な情報に対してはOR検索よりもAND検索の方がベターです。
.
現在、複数の検索キーに対して暗黙にAND検索を適用する検索アルゴリズムは、検索結果の検索数に応じて、自動的に変更する時代がくるかもしれません。例えば、検索結果のヒット数が1,000以上の場合はAND検索、1,000未満の場合はOR検索、と検索数に応じてAND検索とOR検索を使い分けます。ページとサイトの区別がなくなったように、AND検索とOR検索を意識することなく検索が使えるようになればストレスは少なくなります。
.
検索デスクは1996年1月18日にスタートして、丸8年を経過しました。現在のトップページのアクセスは1,350,000/週、スタート時は1,000/週でしたので、8年間で1,350倍に成長したことになります。最初の数年間はコンテンツづくりに熱中しました。コンテンツはオリジナルを優先し独自のカラーを出すように勤めました。相変わらず一人で運営しています。今年はWeb検索に関するアーカイブの整理を目標にしています。本年もよろしくお願いいたします。
.
.
検索結果のヒット数は検索キーによって、ゼロから数百万の範囲になります。ロボット系はページ、ディレクトリ系はサイト、と検索目的に応じて、使い分ければよいのですが、多くの利用者はページとサイトの区別をせずに検索しています。企業でも個人でもWeb検索を習得することは必須なのですが、体系的な教育を受けることなく、試行錯誤で検索技術を習得しているのが実情です。
.
数年前のダイヤルアップ接続時には、1回検索するのに少し気合を入れなければなりませんでした。まだWeb情報は少なく、キーワードの選択に失敗すると検索結果はゼロ、数十分間検索しても必要な情報が得られない場合が多々ありました。それが現在は常時接続のブロードバンド時代。少々ピントはずれの検索キーで検索しても、何らかの情報が入手できます。
.
これは質のよいWebコンテンツが増加したことと、検索エンジンの進歩によるものです。数年前に登録型ディレクトリは消滅しましたが、それは検索エンジンがサイトのウェイトを高くして、検索結果の上位に表示できるようにしたため、ページとサイトを区別することなくシームレスに扱えるようになったからです。
.
データ収集にコストがかかるようなデータ量の少ないデータベースの検索は検索結果がゼロになるため、複数キーのOR検索を返すのがベターでした。しかし、Webのように膨大な情報に対してはOR検索よりもAND検索の方がベターです。
.
現在、複数の検索キーに対して暗黙にAND検索を適用する検索アルゴリズムは、検索結果の検索数に応じて、自動的に変更する時代がくるかもしれません。例えば、検索結果のヒット数が1,000以上の場合はAND検索、1,000未満の場合はOR検索、と検索数に応じてAND検索とOR検索を使い分けます。ページとサイトの区別がなくなったように、AND検索とOR検索を意識することなく検索が使えるようになればストレスは少なくなります。
.
検索デスクは1996年1月18日にスタートして、丸8年を経過しました。現在のトップページのアクセスは1,350,000/週、スタート時は1,000/週でしたので、8年間で1,350倍に成長したことになります。最初の数年間はコンテンツづくりに熱中しました。コンテンツはオリジナルを優先し独自のカラーを出すように勤めました。相変わらず一人で運営しています。今年はWeb検索に関するアーカイブの整理を目標にしています。本年もよろしくお願いいたします。
.