Yandex検索エンジンの動作原理の最も簡単な説明。 インターネット検索エンジン: Yandex、Google、Rambler、Yahoo。 構成、機能、動作原理 数理探索モデル
現在、Yandex はロシアで最も人気のある検索エンジンです。 サービス統計 ライブインターネット、全ロシアの視聴者の大部分におけるYandexのシェアを示しています - それは53.4％ですが、モスクワとその地域だけを考慮すると、それはさらに高くなります - 67.9％（リクエストによれば、モスクワはより多くを占めています）ロシア全体の50％）。
Web サイト www.yandex.ru は 1997 年に作成されましたが、最初の Yandex 開発者グループの 1 人であるドミトリー (姓がテイブリュム) のデスクトップの下に置かれていたサーバーは 1 台だけで十分でした。 開設後すぐに 2 台目のサーバーを購入しましたが、すぐに別のサーバーをインストールする必要が生じたとき、テーブルの下に 3 台の Yandex サーバーまたは […]
検索エンジン開発者は、ユーザーのクエリに対する最良の回答を提供するよう努めています。 場合によっては、そのような答えが数字 (たとえば、都市の天気)、写真 (たとえば、地図上の住所)、単語や四行詩の翻訳になることがあります。 適切な情報が手元にあれば、すぐに答えを得ることができます。 したがって、Yandex は、インターネット検索結果をその […]
Yandex へのリクエストの約 10 件に 1 件は「ナビゲーション」リクエストです。つまり、リクエストは組織または Web サイトの名前で構成されており、ユーザーはこの組織の Web サイトに移動したいと考えています。 この場合、ブラウザのアドレス バーの代わりに Yandex の検索バーが使用され、ユーザーは原則として、残りの 9 つの検索結果には興味がありません。 ユーザーの主な目的から気を散らすことなく、主な目的の後に追加しました […]
検索エンジンの主なタスクは、ユーザーの質問に答えることです。 ユーザーがクエリを行うと、検索エンジンはインターネット上のすべてのサイトにアクセスするのではなく、既知のページのデータベース、つまり検索インデックスを介して検索します。 そこで彼女は、クエリの単語が含まれるすべてのページを見つけます。 ユーザーには、検索結果ページにこれらのページへのリンクが表示されます。
ご覧のとおり、Yandex は立ち止まっていません。このシステムの検索技術は、まだ理想的とは言えない検索の品質を向上させるために開発され続けると確信しています。
2009 年 11 月 10 日、Yandex は検索アルゴリズムの新バージョン、Snezhinsk を発表しました。 関連性を計算するアルゴリズムに根本的な変更が発生しました。Yandex の代表者は次のように書いています。「より正確でより複雑な数学的モデルを作成することができ、これにより検索品質が大幅に向上しました。 検索ランキング アーキテクチャの再設計のおかげで、数千件の会計処理を実装することが可能になりました。
Yandex アルゴリズムの新バージョンのテストは 2008 年 7 月 9 日に始まりました。 Yandex によると、「プログラムの主な変更点は、機械学習への新しいアプローチに関連しており、その結果、ランキング要素が計算式で考慮される方法の違いに関連しています。」
2008 年 4 月 14 日、buki.yandex.ru で新しい検索アルゴリズム「Magadan」のテストが開始されました。 ランキング要素の数が 2 倍になったことに加え、次の革新的な機能も追加されました。
アルゴリズムのジャングルに足を踏み入れる前に、検索エンジンが一般的にどのように機能するかを思い出してください。 検索システムの論理構造は、3 つのモジュールの形式で表すことができます (図を参照) ロボット (クローラー) は、インターネット サイトを巡回し、そのコンテンツをダウンロードする特別なプログラムです。 ロボットには特別なスケジュールがあり、それに従って巡回を実行します。 ロボットによって読み込まれるサイトページ、特別な [...]
66. 無料のプラットフォーム (ブログスポット、LJ など) からのリンクとオフライン サイト/ブログからのリンクのどちらがより影響力がありますか? 無料のプラットフォームでは、スタンドアロン サイトよりも転送される重量が少なくなります。 ただし、影響はさらに大きくなる可能性があります。 これは、現在のアンカー リスト、比較対象のサイトの状態など、多くの要因によるものです。この質問に対して明確な答えを与えることは不可能です。 67. 最大の体重移動は、[…]
ヴァマナ ツアー - 世界中、インド、ネパール、スリランカ、モルディブ、モーリシャス、その他地球上の多くの場所への旅行、航空券、ビザ。 旅行者や巡礼者へのアドバイス。 旅行を最大限に楽しむ方法。 驚くべき歴史年代記と経験豊富な旅行者の物語。
サイトへの外部リンクを考慮する目的は何ですか? 前のセクションからわかるように、ランキングに影響を与えるほとんどすべての要素はページ作成者の制御下にあります。 したがって、検索エンジンは、特定の検索フレーズ専用に作成されたページや、ロボットによって生成された有益な情報がまったく含まれていないページと、本当に高品質のドキュメントを区別することができなくなります。 […]
親愛なる皆さん、こんにちは！ この記事では、引き続き Yandex 検索エンジンについて見ていきます。覚えていらっしゃるとおり、以前の記事では、ロシア内外の競合他社の中で第 1 位にランクされているこの偉大な企業の設立の歴史について説明しました。
これはすべて良いことですが、初心者や経験豊富なサイト構築者は、もちろん、自分のプロジェクトを検索結果のトップに表示する方法に関連する最も重要な質問に興味があります。
したがって、どのような間違いを犯す可能性があるのか、そして一般にロシアの検索エンジンに何を期待できるのかを理解するために、Yandex検索エンジンがどのように機能するかを見てみましょう。
前回の記事でお話しました。 このトピックは非常に興味深く、有益であることがわかりました。 したがって、いわばそれを補足する、深めることにしました。
したがって、私はおそらく、「なぜ検索エンジンはドキュメントのインデックスを作成するのか」という疑問に少し夢中になったのではないでしょうか? それは簡単なことです。 残っているのは、「どのように」という質問を理解することだけです。
ウェブサイトのランキングアルゴリズム
まず、検索エンジンの基本となるいくつかのアルゴリズムについて理解しましょう。
— 直接検索アルゴリズム。
それは何ですか - ある本で素晴らしい物語を読んだことを覚えています。 そして、一つ一つ探し始めます。 彼らは一冊の本を手に取り、目を通しましたが、見つからず、別の本を手に取りました...原理は明らかですが、この方法は非常に長くなります。 これも理解できます。
— 逆検索アルゴリズム。
このアルゴリズムでは、ブログの各ページからテキスト ファイルが作成されます。 このファイルには、使用したすべての単語がアルファベット順にリストされます。 テキスト内のこの単語の位置も示されます (テキスト内の座標)。
これはかなり高速な方法ですが、検索にはすでに何らかのエラーが発生しています。
ここで理解すべき主な点は、このアルゴリズムはブログでの検索ではなく、インターネットでの検索ではないということです。 そして、ずっと前に作成された別のテキスト ファイル内にあります。 ロボットがあなたのところに来たとき。 そして、これらのファイル（逆インデックス）はYandexサーバーに保存されます。
以上が基本的な検索アルゴリズムでした。 それらの。 Yandex が必要なドキュメントを簡単に見つける方法。 これで問題はないようです。
ただし、Yandex は 1 つ以上、場合によっては 100 件以上のドキュメントを認識していますが、私の情報源からの最新データによると、Yandex は約 110 億件のドキュメント (10,727,736,489 ページ) を認識しています。
そして、このすべての量の中から、要求に一致する書類を選択する必要があります。 そしてさらに重要なのは、何らかの方法でそれらをランク付けする必要があるということです。 それらの。 重要度に応じて、またはむしろ読者にとっての有用度に応じて配置します。
数学的検索モデル
この問題を解決するには、数学モデルが役に立ちます。 次に、最も単純なモデルについて説明します。
ブール数学モデル– 単語が文書内に出現する場合、その文書は見つかったものとみなされます。 単なる偶然であり、複雑なことは何もありません。
しかし、ここで問題が発生します。 たとえば、ユーザーが一般的な単語、またはさらに良いのは、ロシア語で最も一般的な単語であり、あらゆる文書に含まれる前置詞「v」を入力すると、非常に多くの結果が表示されます。そんなに多くの数があるとは、あなたは気づいていないでしょう、何枚の文書を見つけましたか？ そこで以下のマットモデルが登場しました。
ベクトル数学モデル– このモデルは文書の「重さ」を決定します。 偶然が起こるだけではなく、その単語は複数回出現する必要があります。 また、出現する単語が多いほど関連性（準拠性）が高くなります。
これは、すべての検索エンジンが使用するベクトル モデルです。
確率モデル– より複雑になります。 原理は次のとおりです。検索エンジンがページ テンプレート自体を見つけました。 たとえば、Yandex の歴史に関する情報を探しているとします。 Yandex はある種の標準を保存します。これが Yandex に関する私の前回の記事になるとしましょう。
そして彼は他のすべての文書をこの記事と比較します。 ここでの論理は次のとおりです。あなたのブログ ページが私の記事に似ているほど、あなたのブログ ページが読者にとって有益であり、Yandex の歴史についても語っている可能性が高くなります。
ユーザーに表示する必要があるドキュメントの数を減らすために、関連性の概念が導入されました。 コンプライアンス。
あなたのブログページはトピックとどの程度関連していますか? これは検索の品質に関して重要なトピックです。
評価者 - 彼らは誰で、何の責任を負いますか?
この関連性は、アルゴリズムの品質を評価するためにも必要です。
この目的のために特殊部隊の本部があります - 彼らは評価者と呼ばれます。 これらは、検索結果を自分の手で調べる特別な人々です。
サイトの確認方法、評価の方法などが記載されています。 そして、ページが検索クエリに適しているかどうかを手動で判断します。
そして、検索アルゴリズムの品質は評価者の意見に依存します。 すべての評価者が検索結果がリクエストに対応していないと述べた場合、これはランキングアルゴリズムが間違っており、Yandex だけが責任があることを意味します。
評価者が 1 つのサイトだけが要求を満たしていないと言う場合、それはそのサイトがどこか遠くに飛んでしまい、検索結果で順位が下がってしまうことを意味します。 正確に言えば、サイト全体ではなく、1つの記事だけですが、これは「重要ではありません」。
もちろん、評価者はすべての記事を自分の手と目でレビューし、評価することはできません。 これは理解できます。
そして、ページをランク付けするための他のパラメータが役に立ちます。
それらはたくさんあります。たとえば、次のとおりです。
- ページの重み (vIC、PageRank、 赤ちゃんのぶつぶつ全体として）;
- ドメイン権限。
- リクエストに対するテキストの関連性。
- 外部リンクテキストとクエリの関連性。
- 他の多くのランキング要素も同様です。
評価者がコメントを作成し、数学的ランキング モデルの設定を担当する担当者が式を編集することで、検索エンジンがより効率的に動作します。
フォーミュラのパフォーマンスを評価するための主な基準は次のとおりです。
1. 検索エンジンの結果の精度- リクエストに一致するドキュメントの割合 (関連性)。 それらの。 リクエストに一致しないページが少ないほど良いです。
2. 検索エンジンの結果の完全性- これは、コレクション内の関連ドキュメントの総数 (検索エンジンで見つかったページの総数) に対する、特定のクエリに関連する Web ページの比率です。
たとえば、検索結果よりもコレクション全体に関連性の高いページが多い場合、これは結果が不完全であることを意味します。 これは、関連する Web ページの一部がフィルタリングされたために発生しました。
3. 検索エンジンの結果の関連性- これは、スニペットに記述されている内容と Web ページの準拠性です。 たとえば、ドキュメントが非常に異なっているか、まったく存在しない場合でも、検索結果には依然として存在することがあります。
検索結果の関連性は、検索ロボットがそのコレクションからドキュメントをスキャンする頻度に直接依存します。
コレクションの収集（サイトページのインデックス作成）は、特別なプログラムである検索ロボットによって実行されます。
検索ロボットは、インデックス作成用のアドレスのリストを受信してコピーし、コピーされた Web ページのコンテンツを逆インデックスに変換するアルゴリズムに送信して処理します。
そうですね、いわば「一言で言えば」、検索エンジンの原理について話し合いました。
要約しましょう:
- 検索ロボットがあなたのブログにやって来ます。
- 検索ロボットは、後続の検索のためにページの逆インデックスを保存します。
- 数学的モデルを使用し、数式を使用し、評価者の意見を考慮して文書が処理され、検索結果に表示されます。
これは非常に単純化されています。 Yandex 検索エンジンがどのように機能するかを基本的に理解するためです。
ここまでたくさんの文章を書いてきましたが、おそらく不明な点も多くあると思います。 したがって、少し後にこの記事に戻ってこのビデオを視聴することをお勧めします。
これは素晴らしいガイドであり、私もかつてそれから学びました。
この情報が、あなたのサイトが検索で適切な位置を占めている理由をより深く理解し、サイトを改善するためにあらゆる努力を払うのに役立つことを願っています。
これでお別れとなります。ご質問がございましたら、コメント欄でいつでも喜んでお答えいたします。 それとも記事に追加したいですか？
いずれにしても、自分の意見を述べてください。 ！
今日、私たちは検索エンジン開発の華やかな道に沿って、また長い旅に出発します ( ヤンデックス, ヤンデックス）。 オンライン検索の国内最大手企業はとっくの昔に、その隅々まで掘り下げて、Yandex 検索エンジンがどのように開発されたのか、そしてその長年にわたる興味深い点を思い出してみるのがそれほど怠惰ではないレベルにまで成長したと思います。存在。
さらに、Yandex 検索エンジンから多くの訪問者を受け取ります。 彼らの多くはコンテキスト広告によって去っていきますが、私は最近ブログを引き継ぎました。そのため、この会社について大きな出版物が書かれる価値は十分にあると思います。
ロシアのインターネットを考慮すると、Yandex は議論の余地のないリーダーです。 ロシアでは、これは最初に最も重要な検索エンジンです。 ベラルーシ、ウクライナ、カザフスタンには地域検索エンジンのような支店があります。 Yandex はこれらの国の居住者の間で非常に人気があります。 他の地域から多くの観光客が来ていることから、少なくとも統計的にはそう判断できます。
現在、Yandex は単なる検索エンジンではなく、この検索エンジンのすべてのユーザーがアクセスできる多数のサービスでもあります。 ここでは、必要な情報を見つけて、レジャー活動の選択をナビゲートし、写真や製品を検索し、価格を比較し、天気を確認し、ソーシャル ネットワークで通信し、テレビを視聴し、交通機関のスケジュールを確認することができます。 エンタープライズ ソリューションは数多くあります。 Narod.ru にアクセスすることもできます。 Yandex には、Web サイトを操作するための機能を提供する便利なシステムがあります。 このサービスの最新のイノベーションの中には、かなり長い間有料のままでしたが、2011 年 12 月にこのサービスが完全に誰でも利用できるようになりました。
Yandex の素晴らしいテクノロジーと便利なサービスについては、非常に長い間話し続けることができました。 したがって、情報を理解しやすくするために、私たちの旅をコンポーネントに分けて説明します。 検索エンジンの誕生から現在に至るまで、その全軌跡を年代ごとに時系列で説明します。
Yandex開発の歴史
1980年代～1990年代
Yandex開発の歴史そのルーツは、今は遠い80年代、ソ連時代に遡ります。 Arcadia で最初に検索ソフトウェアの開発が始まったのはその時でした。 この作業は、アルカディ・ボルコフスキーとアルカディ・ヴォロシュの指導の下で行われました。 それが最初のものです 検索技術「Yandex」という名前が付けられました。 そして、今日私たちが見ることができる Yandex Web サイト自体は 1996 年に登場しました。 当時行われた開発は有望であると認識され、その結果、CompTek (コンピューターとコンポーネントの販売) の経営陣とシステム開発者は、テクノロジーのさらなる開発と大衆への導入の妥当性を決定しました。 。 これに関連して、幅広い聴衆を対象としたプロジェクト開発コンセプトが準備されました。
Yandex は 1997 年 9 月 23 日にのみ正式に発表されました。 そして実際、当初は CompTek International の一部門でした。 つまり、そこには全く独立性がなかったのです。 そして、Yandex が今日見られる企業になったのは 2000 年になってからです。 会社はすでに完全に独立しているという意味で。 独立したヤンデックス。
ちなみに、Yandex検索エンジンの発表のずっと前に、同社は名前を思いつきました。 Yandex – 「言語インデックス」を意味します。 英語から翻訳すると、「Yet Another Indexer」になります。 確かに、検索エンジンが発展するにつれて、別の解釈が現れ始めました。 たとえば、英語のインデックスで最初の文字 (I – Z) を英語からロシア語に翻訳すると、「Yandex」となります。
「Yandex」という名前は、Ilya Segalovich (現技術部長) と Arkady Volozh によって考案されました。
会社が正式に発表される 1 年前の 1996 年 10 月 18 日、Netcom'96 展示会が開催され、そこで CompTek は開発中の検索エンジンの最初の製品を発表しました。 これらは、Yandex.Site と Yandex.Dict です。 そして 6 か月後、CD ROM 上のドキュメントを検索する Yandex.CD が登場し、Yandex.Lib プロジェクトが始まりました。 これは、あらゆる種類のアプリケーションやデータベースに埋め込むことを目的とした Yandex パッケージ ライブラリでした。
Yandex.ru が正式に一般に公開された時点では、次の点が興味深いものとして強調表示されます。
文書の関連性の評価。 当時、Yandex はコピーを見つけて除外するのが非常に上手でした。 同時に、ドキュメントはさまざまなエンコーディングで検索されました
正確な語形で検索します。 ヤシュカは形態学を考慮した検索方法を知っていました
距離に基づいて検索します。 Yandex は正確なフレーズを使用して段落内を検索できました
ページの関連性を評価するためのコアは機能していました。 それぞれの要求について、要求への準拠性 (関連性) を考慮して文書が選択されました。 さらに、検索結果の文書を選択する際には、ページ内のキーワードの頻度 (密度) が考慮されました。 ちなみに、このアルゴリズム（当時）が不完全だったからこそ、ほとんど意味のないキーワードがぎっしりと詰まったページが検索結果の上位に表示されてしまいました。
また、検索中に、単語間の距離と単語が文書内でどのように配置されているかが考慮されました。
Yandex ウェブサイトのデザイン
Yandex Web サイトの最初のデザインは非常に原始的で不完全なものでした。 有名な Artemy Lebedev によって開発されました。 彼はこんな感じでした
ちなみに、Yandexフォーラムも同年に開設された。 システムユーザーと開発者間のコミュニケーションを目的としています。 アイデアは素晴らしく、フォーラムは正常に機能しました。 確かに、2008 年まで存在していました。 その後、優先順位が少し変更されました。 私の知る限り、社交性が優先されました。 Yandex はまた、独自のソーシャル ネットワークを積極的に開発し始めました。これに基づいて現在のブログが登場し、Yandex のすべての発表が公開され、実際にユーザーが開発者と通信します。 古いフォーラムの URL ( http://forum.yandex.ru/yandex/) 今日、リダイレクトは誰もが知っています。 http://webmaster.ya.ru/.
1998年
立ち上げられたこのプロジェクトには大きな可能性があることが示され、彼らは引き続き取り組みを続けました。 1998 年に検索エンジンが改良され、ユーザー向けに他の多くの機能が導入されました。 特に、見つかったものを検索したり、類似した文書を検索したりすることが可能になりました。 Yandex ホームページのデザインの作業も進行中です。 今、彼女は少し変わった
ご覧のとおり、外見的には何も変わっていません。 技術的な作業のほとんどが実行されました
1999年
この 1 年間で、インターネットにおけるロシアの視聴者数は大幅に増加しました。 それに伴い、Yandex の品質とテクノロジーは成長し、開発者は多くの改善を導入しました。 Yandex 検索エンジンには新しい検索ボットが導入され、ネットワーク上のドキュメントのクロール速度が大幅に向上しました。
機能のユーザー部分に影響を与えた革新は次のとおりです。
注釈、キャプション、写真、タイトルなど、より具体的に検索できるようになりました。
一部のサイトに検索制限を導入しました
ロシア語の文書は個別に強調表示されました
ちなみに、今ではよく知られている概念（主題引用インデックス）が初めて導入されたのは1999年です。 確かに、それは非常に原始的に計算されました。 サイト (別名 TIC) の権威は、私たちが関心のあるドメインにリンクしているサイトの数に大きく依存していました。
ちなみにトップページのデザインも変わりました。 より現行に近いものになりました
1999 年にはもう一つ重要な出来事がありました。 そのとき、Narod.ru (無料のホスティングおよびファイル共有サービス) としてよく知られている、無料の Web サイト ビルダーが登場しました。 ちなみに、このプロジェクトはまだ存在しています。 このプロジェクトのモットーは「60秒で」でした。
2000年
おそらく、Yandex が根本的に新しい開発レベルに達することを可能にしたのは、新しいサービスの導入だったのでしょう。 時間が経つにつれて、検索エンジンはその地位を確固たるものにし、これにより大幅な検索が可能になりました。 実際、これは新しいプロジェクトであり、CompTek の後援の下で開始されたものではありませんでした。
1999 年、Arkady Volozh はプロジェクトの発展の見通しを認識し、Yandex の宣伝のみに焦点を当て始めました。 しかし、企業の構築スキルを持つ経験豊富なパートナーを見つける必要があることが難しかったです。 唯一の困難は、プロジェクトの開発に投資してくれるが、リーダーシップの下で経営陣を完全に移管する必要はないパートナーを見つける必要があることでした。
そして、そのようなパートナーが見つかりました。 それは会社でした るーねっとホールディングス。 2000年春、同社と投資契約を締結した。 しかし、ここでも死傷者が出た。 それでも、検索エンジンの一定のシェアを諦めなければなりませんでした。 契約によれば、同社は検索エンジンの3分の1を受け取った。 つまり、その瞬間から、Yandex は CompTek の構造部門ではなくなり、独自のオフィス、独自の経営陣、独自の予算などを持つ独立した会社になりました。 Arkady Volozh が同社のゼネラルディレクターに就任しました。
Yandex が最初のリーダーに恵まれたのは非常に幸運だったと思います。Volozh が潜在的なパートナーを見つけるスペシャリストであるだけでなく、優れたイノベーターでもあったことが判明したからです。 自主的に「水泳」を始めてから、社内に大きな変化が起こり始めました。 スタッフは大幅に補充され、リソース自体はリーダーから新たな刺激を受けました。
ru-Net Holdings は合計で約 500 万ドルを投資しましたが、特に今日 RuNet でナンバーワンの検索エンジンには少なくとも数億ドルのコストがかかるという事実を考慮すると、この取引は非常に有益であることがわかりました。 これは最も控えめな見積もりです。
2000 年は、検索に直接結びつかない多くのサービスが登場し始めたため、Yandex のマルチポータル性がより明確に現れ始めたのがこの年であるという理由でも重要でした。 そのようなサービスには、Yandex.News、Yandex.Mail、Postcards、および ya.ru の検索バーがありました。 さらに、多くのサービスがその後統合され、今日私たちが Yandex.Market として知っているものになりました。 さらに、もう 1 つの重要な革新は、ユーザーのブラウザーに統合するための専用ソフトウェアである Yandex Bar の導入でした。
2001年
2001 年に Yandex がトラフィックの面で Runet のリーダーになったため、この年が転換点となりました。 さらに、企業のサーバーに保存される情報の量も増加しました。 そのサイズは1テラバイトでした。 ちなみに今年はYandex.Imagesも登場しました。 さらに、電子決済システム「Yandex.Money」も登場
さらに、Yandex ホームページのデザインがさらに大幅に改善されました。 新サービスやニュースへのリンクはこちらです。 一般的に、今日のYandexの概要はすでに現れていると言えます。
2002年
今年、開発者は通信サービス Yandex.Mail の改善に積極的に取り組んできました。 通信をフィルタリングするために多くの作業が行われてきました。 2002 年は、Products、Guru、Select の 3 つのサービスが 1 つの Yandex.Market に統合された年でした。 ちなみに、このサービスは今日でも非常に重要であることがわかります。 おそらくこれまでの投資の中で初めて、自給自足を達成するという目標が 2002 年に現れました。 プロジェクトを収益化するための戦略的なシステムを開発する必要がありました。 しかも将来的に安定して大きな利益をもたらすもの。 それはそのようなモデルとなり、まさにこの広告モデルから会社が収入を得始めたからこそ、予想よりもはるかに早く自給自足を達成することができました。 したがって、2002 年はビジネス指向モデルへの移行の転換点であったと言え、さらにそれはすでに成果を上げ始めています。
2003年
今年も、Yandex.Mail サービスに対する活発な取り組みが続きました。 ここで、システムのすべてのユーザーに影響を与える次の大規模な変更が導入されました。 もちろんYa.Mailもさらに高機能で便利になりました。 今後を見据えて、将来的にはサービスも非常に活発に開発され、ユーザーは多くの興味深い新しい機能を複数回目にすることになると言いたいです。 特に、ユーザーは無制限のメールボックス サイズと新しい「スパム防御」スパム フィルターを受け取りました。 2003 年に、Yandex のデザインは再び更新されました。
ちなみに、各デザインは特定のバージョンに対応していました。 2003 年版のデザインは 8 回連続で次のようになりました。
新しい設計バージョンのリリースは、最初にベータ テスト期間を経ます。 そして、これより前にベータ テストがクローズド モードで実行されていた場合、今回は、新しいインターフェイスの 2 週間のトライアル テスト中に、誰でも新しいインターフェイスにアクセスできるようになります。 確かに、1 年後、メインのバージョンは再びアップグレードされましたが、より成功しました。 そして2007年までこの形で存在していました。
すでに 2003 年に Yandex 検索エンジンが大統領 Web サイトに導入されることに成功していたため、当時でさえ、Yandex はすでにかなり評判の良い企業でした。 2003 年の秋、開発者は次の製品アップデートである Yandex.Publisher、Yandex.Server (Yandex.Server) を展開しました。これらは Yandex.Site の遺産となりました。
2004年
RuNet でナンバーワンの検索エンジンを占めたビジネス モデルは非常にうまく機能し、その結果、2004 年に同社が得た利益はすでに数千万ドルに達しました。 これは、地図上の検索サービス、ブログ、フォーラムなどの新しいサービスの開発に弾みを与えました。 2004 年は、ロシア市場に Google という重大な競合他社が現れたという事実でも注目に値します。 リーダーシップをめぐる争いに緊急に参加する必要があり、その結果、Yandex 経営陣はスタッフを 10 倍に増員することを決定しました。 当初は 200 名でしたが、スタッフを刷新した後は 2,000 名になりました。 しかし重要なことは、スタッフの刷新後も何も悪いことは変わっていないということです。 伝統は残り、技術も最新でした。 そして一般的に、夜叉は無味乾燥な企業にはなっていないと言えます。
テクノロジーの戦い: Yandex vs Google
2005年
今年は、当社の駐在員事務所の地理的拡大をスローガンに掲げて経過しました。 Yandexのウクライナ駐在員事務所が登場したからです - Yandex.Ukraine。 ちなみに、この駐在員事務所の所長は、有名な検索の創設者であり、興味深いブログBloGnotの著者であるセルゲイ・ペトレンコです。
2005 年は、私のお気に入りの店がオープンしたという意味でも重要な年でした。 これは「kolotibablo ウェブマスター」の原則に基づいたサービスで、ロシア語ではウェブマスターが自分のサイトに広告を掲載できるようにするサービスです。
同じ年に、Yandex.Dictionaries が登場しました。 Yandex.Money サービスにも変更が加えられました。 現在、すべてのユーザーがオンライン ウォレットを通じてアカウントを管理できるようになりました。
2006年
今年は、今やよく知られたサービス blogs.yandex.ru の出現で記憶される年です。 これは一種のマーケティングツールです。 世論、ブログやフォーラムのレビューを勉強することができました。 Yandex.Maps は、渋滞を表示するツールを導入しました。
2006 年から 2010 年まで、Yandex はモスクワのサモカトナヤ通りにある古いオフィスにありました。
ご覧のとおり、以前は少し狭かったです。 ここは今ではなく、2000 人の従業員を収容する巨大な建物です。
2006 年には、別の興味深い出来事がありました。サンクトペテルブルクに最初の遠隔開発オフィスが開設されました。 もちろん、規模はまだ同じではありませんでした。 これは、現在、Yandex がロシア、ウクライナ、トルコ、さらにはカリフォルニアに 11 のオフィスを構えている状況とは異なります。 オフィスは活動の種類によって異なります。 開発に携わる拠点、営業拠点、製品のローカライゼーション分野に取り組む拠点があります
2007年
今年はウェブマスターにもっと焦点を当てたイベントが開催されました。 特に、Yandex.Photosサービスが登場しました。 しかし、ウェブマスターとしての私にとって、より興味深い出来事は、サービスの登場です。 Yandex.Metrica。 確かに、当時はまったく粗雑なサービスであり、ウェブマスターを対象としたものではなく、Yandex.Direct の広告主を対象としていました。 同年、ウクライナ駐在員事務所Yandex.uaが開設された。 LiveInternet によると、現在、ロシア語トラフィックのほぼ 14% が yandex.ua からのものです。
また、2007 年には、ウェブマスターなら誰でも知っているプロジェクトが立ち上げられましたが、おそらく今は使っていない怠け者だけでしょう。
2008年
今年、Yandex の影響範囲は非常に拡大し、米国カリフォルニア州に検索エンジンの支店を開設することが決定されたと言えます。 同時に、アルゴリズムに大幅な追加が行われました。 特に、国際標準であるSitemapやMediaRSSなどがサポートされ始めており、RuNetの域をはるかに超えていることがわかります。 RuNet でナンバー 1 の検索エンジンが英語サイトになりました。 以前は、国内の検索エンジンが国際標準をサポートしていないため、burzhunet からサイトのインデックスを作成できないという問題がありましたが、2008 年のアップグレード後、この問題は解決されました。 そしてその後、Yandexのロゴはすべてロシア語で書かれるようになりました。
2009年
それまでは地域ごとに検索を分割していなかったので、今年は重要な年でした。 つまり、このアルゴリズムが導入される前は、均一性の原則に基づいて構築されていました。 たとえば、モスクワとノボシビルスクで検索バーにクエリ「」を入力すると、同じ結果が得られます。 今ではすべてが変わりました。 そして、地理依存性の原理に基づいた結果が検索結果に混在します。 簡単に言えば、モスクワとノボシビルスクで Yandex を使用して検索すると、結果は異なります。
2009 年には、以前に選択した西方向への作業が継続されました。 特に、海外サイトの翻訳に使用されるサービスがテストされました。 その後、このサービスは進化し、2011 年には Yandex.Translation として知られるようになりました。
同様に重要な出来事は、新しい機械学習手法の導入でした。 マトリックスネット。 この技術は、評価としてさまざまなパターンを使用し、さまざまなランキング要素を考慮します。 しかし重要なことは、テクノロジーは自己学習するものであるということです。 評価者を評価する場合、実際のパターンのみが評価され、存在しないパターンの発見は完全に除外されます。
このテクノロジーの革新的な性質は、Matrixnet が膨大な数の要素を考慮した非常に複雑なランキング式を使用しているという事実にあります。 これにより、一方ではより良い検索結果が得られるようになりますが、他方では、ウェブマスターがこのパターンを理解できなくなり、自分の利益のために影響を与えることになります。
マトリックスネット テクノロジーの詳細:
2010年
サモカトナヤ通りにあった古いオフィスは過去のものとなり、会社全体が新しい邸宅に移転しました。 実はこれが2010年のメインイベントとなった
私のSEOブログの読者の皆さん、こんにちは。 。 この記事の内容は、 Yandex 検索エンジンの仕組み サイトをランク付けするためにどのようなテクノロジーやアルゴリズムが使用されているのか、またユーザーへの応答を準備するためにどのような処理が行われているのか。 このロシアの検索の旗艦が Runet の雰囲気を決め、ユーラシア最大のデータベースを所有し、10 億ページ以上のコンテンツを処理し、あらゆる質問に対する答えを知っていることは、多くの人が知っています。 2012 年 8 月の Liveinternet データによると、ロシアにおける Yandex のシェアは 60.5% です。 ポータルの月間視聴者数は 4,890 万人です。 しかし、私たちブロガーにとって最も重要なことは、検索エンジンがリクエストをどのように受け取り、どのように処理し、その結果どうなるかということです。 この情報を知って理解することで、すべての Yandex リソースの使用が容易になる一方で、ブログの宣伝が容易になります。 したがって、最高の Runet 検索エンジンの最も重要なテクノロジを一緒に見ていきたいと思います。
インターネット ユーザーが初めて検索エンジンに情報を求めようとするとき、「検索はどのように機能するのか?」という疑問が浮かぶかもしれません。 しかし、彼がそれを受け取ると、この質問はしばしば別の質問に変わります。「なぜそんなに早く？」 実際、コンピューター上のファイルの検索には 20 秒かかるのに、世界中のコンピューターのネットワーク全体からのリクエストの結果が 1 秒で表示されるのはなぜでしょうか? 最も興味深いのは、最初の 2 つの質問 (検索がどのように行われるのか、なぜ 1 秒かかるのか) が 1 つの答えで答えられることです。検索エンジンはユーザーのリクエストに備えて事前に準備をしています。
他の検索エンジンと同様に、Yandex の動作原理を理解するために、電話帳に例えてみましょう。 電話番号を検索するには、加入者の姓を知る必要があります。この場合、ディレクトリのすべてのページが連続したアルファベット順のインデックスであるため、検索には最大で 1 分かかります。 しかし、電話番号が番号自体で並べられる別のオプションを使用して検索が実行された場合を想像してください。 このような検索が長期間続くと、数字は非常に長い間検索者の目の前に残ることになります。 🙂
同様に、検索エンジンは、インターネットからのすべての情報を、検索エンジンにとって都合の良い形式で表示します。 そして最も重要なことは、訪問者がリクエストを持って到着する前に、これらすべてのデータが事前にディレクトリに保存されていることです。 つまり、Yandex に質問すると、Yandex はすでに答えを知っています。 そしてそれをすぐに私たちに与えます。 ただし、この 2 番目のプロセスには多くの重要なプロセスが含まれており、それについて詳しく説明します。
インターネットインデックス作成
Yandex ru は、インターネット上で入手できるすべての情報を収集します。 特別な機器を使用して、視覚パラメータに基づく画像を含むすべてのコンテンツがレビューされます。 検索エンジンはこのような収集に従事しており、データを収集して準備するプロセスはインデックス作成と呼ばれます。 このような機械の基礎となるのは、検索ロボットとも呼ばれるコンピュータ システムです。 インデックス付きサイトを定期的にクロールし、新しいコンテンツがないかチェックし、削除されたページがないかインターネットをスキャンします。 そのようなページがもう存在しないか、インデックス作成が閉鎖されていることが判明した場合、そのページは検索から削除されます。
検索ロボットはどのようにして新しいサイトを見つけるのでしょうか? まず、他のサイトからのリンクに感謝します。 すでにインデックスが作成されているサイトから新しい Web リソースにリンクが配置されている場合、次に 2 番目のサイトにアクセスすると、ロボットは最初のサイトにアクセスするためです。 第二に、一般に「addurlka」（英語の「addurl」（アドレスを追加）というフレーズから）と呼ばれる素晴らしいサービスがあります。 そこに新しいサイトのアドレスを入力すると、しばらくしてから検索ロボットがそのサイトにアクセスします。 第三に、特別なプログラム「Yandex.Bar」の助けを借りて、それを使用するユーザーの訪問が追跡されます。 したがって、人が新しい Web リソースに到達すると、すぐにロボットがそこに表示されます。
すべてのページが検索対象になりますか? 毎日何百万ものページがインデックス付けされます。 その中には、独自のコンテンツから完全なゴミまで、さまざまな情報を含む可能性のあるさまざまな品質のページがあります。 さらに、統計が示すように、インターネット上にははるかに多くのゴミが存在します。 検索ロボットは、特別なアルゴリズムを使用して各文書を分析します。 有用な情報があるかどうか、ユーザーの要求に応えることができるかどうかを判断します。 そうでない場合、そのようなページは「宇宙飛行士」として受け入れられませんが、そうであれば、検索に含まれます。
ロボットがページを訪問し、その有用性を判断した後、そのページは検索エンジンのストレージに表示されます。 ここでは、自動車センターのマスターが言うように、あらゆる文書を基本的な部分、つまり歯車に至るまで分析します。 ページから HTML マークアップが削除され、クリーンなテキストが完全にインベントリされ、各単語の位置が計算されます。 この分解された形式では、ページは数字と文字を含む表 (インデックスとも呼ばれます) に変わります。 これで、このページを含む Web リソースに何が起こっても、その最新のコピーが常に検索で利用できるようになります。 たとえそのサイトが存在しなくなったとしても、その文書のコピーはしばらくインターネット上に保存されます。
各インデックスは、文書タイプ、エンコード、言語に関するデータ、およびコピーとともに構成されます。 検索データベース 。 定期的に更新されるため、特別なサーバーに配置され、検索エンジン ユーザーからのリクエストが処理されます。
インデックス作成プロセスはどのくらいの頻度で行われますか? まず第一に、それはサイトの種類によって異なります。 最初のタイプの Web リソースは、ページのコンテンツを頻繁に変更します。 つまり、検索ロボットが毎回これらのページにアクセスすると、毎回異なるコンテンツが含まれることになります。 次回からはそれらを使用して何も検索できなくなるため、そのようなサイトはインデックスに含まれません。 2 番目のタイプのサイトはデータ ウェアハウスで、そのページにはダウンロード用のドキュメントへのリンクが定期的に追加されます。 通常、このようなサイトのコンテンツは変更されないため、ロボットがそのサイトにアクセスすることはほとんどありません。 他のサイトは更新頻度に依存します。 これは次のことを意味します。新しいコンテンツがサイトに早く表示されるほど、検索ロボットが頻繁に表示されます。 そして、最も重要な Web リソースが最初に優先されます (たとえば、ニュース サイトはどのブログよりも桁違いに重要です)。
インデックスを作成すると、検索エンジンの最初の機能であるインターネット上の新しいページの情報を収集できます。 しかし、Yandex には 2 番目の機能もあります。それは、すでに用意された検索データベースでユーザーのリクエストに対する答えを検索することです。
Yandex は対応を準備中です
リクエストを処理し、関連するレスポンスを発行するプロセスは、 コンピュータシステム「メタサーチ」 。 その作業では、最初にすべての入力情報 (リクエストが行われたリージョン、リクエストが属するクラス、リクエストにエラーがあるかどうかなど) を収集します。 このような処理の後、メタサーチはデータベース内に同じパラメータを持つまったく同じクエリが存在するかどうかをチェックします。 答えが「はい」の場合、システムは以前に保存した結果をユーザーに表示します。 そのような質問がデータベースに存在しない場合、メタ検索はインデックス データを含む検索データベースを対象とします。
そしてここで驚くべきことが起こります。 検索ロボットによって処理されたインターネット全体を保存する 1 台の超強力なコンピューターがあると想像してください。 ユーザーがクエリを設定すると、クエリに含まれるすべてのドキュメントのメモリ セルで検索が開始されます。 答えが見つかり、誰もが満足しています。 ただし、本文に同じ単語が含まれるリクエストが多数ある場合の別のケースを考えてみましょう。 システムは毎回同じメモリ セルを処理する必要があるため、データの処理にかかる時間が大幅に長くなる可能性があります。 したがって、時間が増加し、ユーザーの損失につながる可能性があります。ユーザーは別の検索エンジンに助けを求めることになります。
このような遅延を回避するために、サイト インデックス内のすべてのコピーが異なるコンピューターに分散されます。 リクエストを送信した後、メタサーチはそのようなサーバーにテキストを検索するように指示します。 その後、これらのマシンからのすべてのデータが中央コンピューターに返され、得られたすべての結果が結合され、ユーザーにベスト 10 の回答が提供されます。 この技術により、検索時間が数倍短縮され（一瞬で答えが得られる）、プラットフォームの増加により情報が二重化される（突然の故障によるデータの消失がなくなる）という一石二鳥の効果が得られます。 。 重複した情報を持つコンピューター自体がデータセンターを構成します。これはサーバーのある部屋です。
検索エンジン ユーザーがクエリを行うとき、100 回中 20 回、質問の目的があいまいです。 たとえば、彼が検索バーに「ナポレオン」という単語を書いた場合、ケーキのレシピや偉大な司令官の伝記など、彼がどのような答えを期待しているのかはまだわかりません。 または「グリム兄弟」というフレーズ - おとぎ話、映画、音楽グループ。 このような考えられる目標の範囲を特定の答えに絞り込むために、Yandex には特別なテクノロジーがあります。 範囲。 検索クエリの統計を使用してユーザーのニーズを考慮します。 Yandex で訪問者が尋ねたすべての質問のうち、Spectrum はその中のさまざまなオブジェクト (人の名前、本のタイトル、車のモデルなど) を特定します。これらのオブジェクトは特定のカテゴリに分類されます。 現在、そのようなカテゴリは 60 以上あります。 彼らの助けを借りて、検索エンジンはユーザーのクエリ内の単語のさまざまな意味をデータベースに保存します。 興味深いことに、これらのカテゴリは定期的にチェックされ (分析は週に数回行われます)、これにより Yandex は提起された質問に対してより正確に回答を提供できます。
Spectrum テクノロジーに基づいて、Yandex はダイアログ プロンプトを整理しました。 これらは、ユーザーがあいまいなクエリを入力する検索バーの下に表示されます。 この行は、質問の主題が属する可能性のあるカテゴリを反映しています。 さらなる検索結果は、ユーザーがこのカテゴリを選択したことによって異なります。
Yandex 検索エンジンの全ユーザーの 15 ～ 30% は、ローカル情報 (自分が住んでいる地域からのデータ) だけを受け取りたいと考えています。 たとえば、あなたの街の映画館で上映される新作映画についてです。 したがって、そのような要求に対する答えは地域ごとに異なるはずです。 この点で、Yandex は自社のテクノロジーを活用しています。 地域に基づいて検索する
。 たとえば、オクチャブルの映画館で映画のレパートリーを探している住民が受け取る可能性のある答えは次のとおりです。
しかし、スタヴロポリ市の住民が同じリクエストに対して受け取る結果は次のとおりです。
ユーザーの地域は主に IP アドレスによって決まります。 多くのプロバイダーが同時に複数の地域で動作するため、ユーザーの IP アドレスが変更されるため、このデータは正確ではない場合があります。 原則として、この問題が発生した場合は、検索エンジンの設定で地域を簡単に変更できます。 結果ページの右上隅にリストされます。 変更できます。
検索エンジン Yandex ru - 応答結果
Metasearch が回答を準備したら、Yandex 検索エンジンはそれを結果ページに表示する必要があります。 これは、見つかったドキュメントへのリンクのリストであり、それぞれについての少しの情報が含まれています。 結果を発行するテクノロジーのタスクは、最も有益な方法で最も関連性の高い回答をユーザーに提供することです。 このようなリンクのテンプレートは次のようになります。
この形式の結果をさらに詳しく見てみましょう。 のために 検索結果のタイトル Yandex は多くの場合、ページ タイトル (オプティマイザーがタイトル タグに書き込むもの) の名前を使用します。 そこにない場合は、記事または投稿のタイトルの単語がここに表示されます。 タイトルのテキストが大きい場合、検索エンジンは、指定されたクエリに最も関連性の高いフラグメントをこのフィールドに配置します。
ごく稀にですが、タイトルとリクエスト内容が一致しない場合がございます。 この場合、Yandex は記事または投稿内のテキストを使用して検索結果のタイトルを形成します。 必ずクエリワードが含まれます。
のために スニペット検索エンジンはページ上のすべてのテキストを使用します。 クエリに対する回答が存在するすべてのフラグメントを選択し、最も関連性の高いフラグメントを選択して、ドキュメントへのリンクをフォーム フィールドに挿入します。 このアプローチのおかげで、有能なオプティマイザはスニペットを見た後にそれを作り直すことができ、それによってリンクの魅力を向上させることができます。
ユーザーのリクエストの結果をわかりやすくするために、見出しはテキスト内のリンクとしてフォーマットされています (下線付きの青で強調表示されます)。 Web リソースを魅力的で認識しやすくするために、サイトの小さな企業アイコンであるファビコンが追加されます。 これは、見出しの前の最初の行のテキストの左側に表示されます。 応答内のリクエストに含まれるすべての単語も、認識しやすいように太字で強調表示されます。
最近、Yandex 検索エンジンは、ユーザーがより速く、より正確に答えを見つけるのに役立つさまざまな情報をスニペットに追加しています。 たとえば、ユーザーがリクエストに組織の名前を書き込んだ場合、Yandex はその住所、連絡先番号、地理地図上の場所へのリンクをスニペットに追加します。 検索エンジンが、ユーザーへの答えを含む文書を含むサイトの構造を熟知している場合、間違いなくそれを表示します。 さらに、Yandex は、そのような Web リソースで最もアクセス数の多いページをスニペットにすぐに追加できるため、必要に応じて、訪問者は必要なセクションにすぐに移動でき、時間を節約できます。
オンライン ストアの製品の価格、星の形でのホテルやレストランの評価、検索ドキュメント内のオブジェクトに関するさまざまな数値を含むその他の興味深い情報を含むスニペットがあります。 このような情報の目的は、ユーザーが関心のあるアイテムやオブジェクトに関するデータの完全なリストを提供することです。
一般に、さまざまな例を示すと、回答のあるページは次のようになります。
ランキングと評価者
Yandex のタスクには、考えられるすべての回答オプションを検索するだけでなく、最適な (関連性のある) 選択肢を選択することも含まれます。 結局のところ、ユーザーは Yandex が検索結果として提供するすべてのリンクをくまなく調べることはありません。 検索結果を整理するプロセスは次のように呼ばれます。 ランキング 。 つまり、提案された回答の品質を決定するのはランキングです。
Yandex が関連するページを決定するルールがあります。
- 検索品質を低下させるサイトは、結果ページの順位が下がります。 通常、これらは所有者が検索エンジンを騙そうとしている Web リソースです。 たとえば、意味のないテキストや目に見えないテキストが含まれるページが含まれるサイトです。 もちろん、検索ロボットにはそれが見えて理解できますが、このドキュメントを読んでいる訪問者にはわかりません。 または、検索結果領域のリンクをクリックすると、ユーザーがすぐにまったく別のサイトに移動するサイト。
- エロ コンテンツを含むサイトは結果に含まれないか、ランキングが大幅に低下します。 これは、そのような Web リソースが積極的なプロモーション方法を使用することが多いためです。
- ウイルスに感染したサイトは検索結果の順位が下がったり、検索結果から除外されたりすることはありません。この場合、ユーザーには特別なアイコンを使用して危険性が通知されます。 これは、Yandex が、検索エンジン訪問者の要求に応じて、そのような Web リソースに重要なドキュメントが含まれている可能性があると想定しているためです。
たとえば、Yandex がクエリ「apple」に対してサイトをランク付けする方法は次のとおりです。
Yandex は、ランキング要素に加えて、検索エンジン ユーザーが最も適していると考えるクエリと回答を含む特別なサンプルを使用します。 現時点ではそのようなサンプルを作成できる機械はありません。これは人間の特権です。 Yandexでは、そのような専門家は次のように呼ばれます。 評価者。 彼らの任務は、すべての検索ドキュメントを完全に分析し、指定されたクエリに対する応答を評価することです。 彼らは最良の回答を選択し、特別なトレーニング セットを作成します。 その中で、検索エンジンは関連するページとそのプロパティの間の関係を確認します。 このような情報を取得すると、Yandex は各リクエストに最適なランキング式を選択できます。 このような式を構築する方法は Matrixnet と呼ばれます。 このシステムの利点は、過学習に強いことであり、不必要な評価やパターンの数を増やすことなく、多数のランキング要素を考慮できるようになります。
私の投稿の最後に、Yandex 検索エンジンがその作業の過程で収集した興味深い統計を示したいと思います。
1. ロシアとロシアの都市における人名の人気 (2012 年 3 月にブロガーおよびソーシャル ネットワーク ユーザーのアカウントから取得したデータ)。
1863 年、偉大な作家ジュール ヴェルヌは次の本「20 世紀のパリ」を執筆しました。 その中で彼は、地下鉄、自動車、電気椅子、コンピューター、さらにはインターネットについても詳しく説明しました。 しかし、出版社はこの本の印刷を拒否し、1989年にジュール・ヴェルヌのひ孫によって発見されるまで、120年以上も放置されていました。 この本は1994年に出版されました。
インターネット検索エンジン: Yandex、Google、Rambler、Yahoo
女の子のためのぬりえページは、本物の魔法についての物語です
YouTube の字幕に関するすべて - A から Z まで 字幕を消す方法