ChatGPT がデータを取得しました!プログラミング言語ランキングを作る方法はありません！

執筆者 | Yan Zheng

制作：51CTO テクノロジースタック（WeChat ID：blog）

プログラミング言語のランキングというと、Tiobe、RedMonk、Stack Overflowなどを思い浮かべる人が多いでしょう。基本的に、それらの更新頻度は比較的一定です。しかし最近、プログラミング言語リストの最高峰であると主張する RedMonk が「約束を破った」ようです。

RedMonk は通常、年に 2 回リストをリリースします。最後に更新されたリストは 5 月でした。慣例によれば、2 回目のリリースは今年の 11 月に行われるはずですが、今年は何も行われていません。

本日、公式サイトはついに言語ランキングを公開しない理由を明らかにしました。これまでStack OverflowとGithubから取得していたサンプル数が大幅に削減され、ランキングの評価に大きな影響を与えたためです。実はこの犯人はAIプログラミングアシスタントなんです！

1. RedMonkのランキングはコミュニティサンプルから切り離すことはできない

公式紹介によると、RedMonkはGitHubとStack Overflow上のプログラミング言語のコード使用状況と議論量を追跡し、統計を分析して分類し、潜在的な言語採用傾向を深く理解します。

写真

具体的には、RedMonk リストのデータ収集方法には、GitHub データを分析するためのデータ ソースとして GitHub Archive を使用する方法と、Stack Overflow が提供する実用的なツールであるデータ エクスプローラーを直接使用する方法の 2 つがあります。

公式では特定のソートアルゴリズムについても詳しく説明していますが、ここでは繰り返さないことにします。

写真

2. ChatGPTはプログラミングランキングを延期した

今年、私たちは皆、成長の奇跡を目撃しました。ChatGPT はリリース後、わずか 2 か月で 1 億人のユーザーを獲得しました。

1. Stack Overflowが最初に被害を受ける

その後、Stack Overflow のトラフィックが急速に減少し始めたため、同社の CEO はデータ アクセスの課金を開始する決定を発表しました。

Stack Overflow のウェブサイトのトラフィックは、当初の半分にまで大幅に減少しました。それだけでなく、アナリストは「ユーザーが Stack Overflow に費やす時間は、昨年の同時期に比べて 40% 減少し、サイトの以前のピーク時から約 2 億時間減少している」と指摘しました。

写真

さらに、Stack Overflow では、サイト上の質問と回答の数が 50% 減少し、投票数も減少しました。理由は明らかです。開発者はすでに、Stack Overflow で回答を検索することなく、AI アシスタントに即座に質問し、文脈に沿った回答を得ることができます。

そうすると、Stack Overflow が提供する公開データセットの有用性は大幅に低下することになります。

写真

上図は、Stack Overflow における上位 20 のプログラミング言語タグを使用した質問数を示しています。前期と比較すると 20% 近く減少していることがわかります。 ChatGPT が普及して以来、RedMonk がこれらの数字を全面的に実行したのは今回が初めてであり、1 年間の変化をざっと見てみると、さらに厳しい結果が明らかになります。

2. Githubもデータ減少の影響を免れなかった

RedMonkはStack Overflowのデータの減少を予想していましたが、予想していなかったのは、GithubもAIコードアシスタントの影響を受け、データに非常に深刻な異常が現れたことです。

Redmonk が使用したデータセットは BigQuery 上の公開データセットであり、この目的のために、Redmonk は Google チームと GitHub チームに、データがどのように抽出されたか、内部データで同様の変更が見られたかどうかを尋ねました。

「結果はまったく予想外のものでした。GitHub アーカイブから得たデータによると、2023 年前半のプルリクエストは、2022 年後半の PR と比較して約 25% 減少しました。」

ChatGPT のコーディング能力は非常に強力であり、その結果は深刻です。さまざまな Copilot の出現により、プログラミング Q&A コミュニティで尋ねられる質問の数に大きな影響が出ています。サンプル サイズの縮小は、RedMonk が依存するランキング変更統計がかなりの課題に直面していることを意味します。これらのサンプル データは、言語の人気度を完全に正確に反映するには不十分であるように思われるからです。

3. プログラミングランキングは今後どうしたらいいでしょうか？

そのため、RedMonk は、AI ベースのコード アシスタントの出現と増加が RedMonk 言語ランキングのデータに影響を与えていると渋々述べました。

質問や知識の共有がパブリック コミュニティ フォーラムからプライベート AI チャット ツールに移行するにつれて、公開されているデータから意味のある傾向を特定する能力も無期限に変化します。

今後、RedMonk はこれらの傾向を追跡し続け、サンプル サイズの変化がランキングにどのような影響を与えるかを判断し、2024 年 1 月に新しいリストのリリースを発表します。

結論: 新たなデータ支配者が出現

ビッグモデル時代の到来により、人々の本来のインターネット習慣はゆっくりと変化しつつあります。以前は、問題に遭遇すると、ポータルやコミュニティにアクセスすることを考えたかもしれません。しかし、生成 AI の出現後、さまざまな「ChatGPT」プライベート チャット インターフェイスがそれらに取って代わりました。

その結果、人間とコンピュータの相互作用データのソースが移行されます。知識質問と回答コミュニティの形態にはどのような変化が起こるのでしょうか? 「弱い質疑応答と軽い社会的交流」の方向に進化するのでしょうか？それとも他の方向ですか?

たとえば、このデータに依存する下流企業は、新しいデータ生成の支配者にどのように適応すべきでしょうか?

これらはすべて、早急に答える必要がある質問です。数週間後、RedMonk がこの件についてどう考え、解決するかを見てみましょう。

参考リンク: https://redmonk.com/rstephens/2023/12/14/language-rankings-update/