元々ディレクトリ型から始まったウェブ検索サービスですが、AltaVistaやGoogleのようなロボット型検索エンジンが主流となった現在は、ディレクトリ型を利用している人は少ないと思います。
ロボット型が台頭してくるにつれ、検索エンジンに対して最適化するSEOという考え方が広まり、更には関係ないキーワードでも検索にヒットさせようとするSPAM的SEOをしてくるサイトまで現れ、現在はロボット型検索サービスの黎明期よりも検索品質が下がっていると感じます。
また、ブログの流行によりウェブページの数が爆発的に増えており、全てのウェブサイトを対象にした全文検索では、価値のある情報を見つけるのが困難になっています。
そこで再び、ディレクトリ型の検索サービスに目を向ける時期に来ているのかもしれません。
しかし、ロボット型の全文検索はとても便利で、昔のYahoo!のようなジャンル分けとサイトの概要だけのサービスには今更戻れません。ディレクトリによる分類と、その中から全文検索をするハイブリッド型の検索サイトが理想です。
実は既にそのようなサービスは存在します。しかも、Googleの中に。
サイトのカテゴライズはOpen Directory Projectというボランティアのプロジェクトで行われており、その情報でフィルタリングしながら全文検索するのがGoogleディレクトリの仕組みのようです。
Open Directory Projectではボランティアの編集者によって人力で情報を登録していますが、Googleが音頭を取れば自動で登録するための仕組みくらい簡単に作れるでしょう。
たとえば私が考えたのは次のような方法です。カテゴリを指定するファイルをrobots.txtのように各ホストのトップレベルのディレクトリに置き、1つのホストは1つのカテゴリにしか属せません。はてなダイアリーのようにユーザ毎にサブドメインを与えていないサイトは、ホスティングサービスとして特別な扱いで全てのカテゴリに属する代わりに、適切にカテゴライズされたサイトよりも検索の順位が下がります。
以前から、通販サイトを除いて検索したかったり、逆に通販サイトの中から検索したいと思うことは多かったので、このような仕組みを早く作って欲しいです。