OpenAIが「公式クローラー」をリリース: GPT-5はこれでトレーニングされ、必要に応じてブロックできる

周知のとおり、OpenAI は GPT-4 以降、技術的な詳細を完全に秘密にしてきました。当初は、ベンチマーク結果を示すために技術レポートのみを使用していましたが、トレーニング データとモデル パラメータについては沈黙していました。その後、ネットユーザーがこのニュースを報じたが、OpenAIは反応しなかった。

GPT-4 のトレーニングには膨大な量のデータが必要であることは想像に難くありませんが、これはお金を払って解決できる問題ではありません。おそらく、OpenAI は Web クローラーを使用しました。多くのユーザーはOpenAIがユーザーの著作権とプライバシー権を侵害していると非難した。

ちょうど今、OpenAI がそのカードを公開しました。インターネット全体からデータをクロールする Web クローラーである GPTBot を直接リリースしたのです。

このデータは、GPT-4 や GPT-5 などの AI モデルのトレーニングに使用されます。ただし、GPTBot は、クロールされたコンテンツにプライバシー ソースを侵害し、支払いを必要とするコンテンツが含まれないことを保証します。

OpenAIは、「GPTBotを使用してWebデータをクロールすることは、AIモデルの精度、機能性、安全性を向上させることです」と述べた。

ウェブサイトの所有者は、必要に応じて GPTBot によるウェブサイト データのクロールを許可または制限できます。次に、GPTBot の仕組みを確認し、シールド方法について学びましょう。

まず、GPTBot の User-Agent 文字列は次のとおりです。

 User agent token: GPTBot Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

GPTBot が Web サイトにアクセスするのを禁止するには、次の方法を使用して、Web サイトの robots.txt に GPTBot を追加します。

 User-agent: GPTBot Disallow: /

GPTBot がサイトの特定の部分のコンテンツにアクセスできるようにすることもできます。

 User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/

最近、OpenAIは明示的な承認なしにウェブサイトのデータを使ってGPT-4などの大規模言語モデルをトレーニングしたことで反発に直面した。批評家は、OpenAIのような企業は、コンテンツが一般に公開されている場合でもトレーニングプロトコルに従うべきだと主張している。また、コンテンツが AI システムに入力されると文脈から外れてしまうのではないかという懸念もあります。

しかし、ロボット プロトコルに従ったとしても、それは標準ではなく単なる慣例であるため、Web サイトのプライバシーを保証することはできません。

GPTBot のリリース以来、その開発は Hacker News 上で議論を巻き起こしており、人工知能システムをトレーニングするためにスクレイピングされた Web データを使用することの倫理性と合法性に焦点が当てられています。

GPTBot のリリースは、公開データを使用して AI モデルを開発することの「グレーゾーン」を示していると考える人もいます。

「モデルをトレーニングした後にデータをクロールしているのは素晴らしいことです。おそらく、これらのヘッダーは、GPT をトレーニングするためにすでにクロールしたページには影響しません。」

「今や彼らは反スクレーピング規制を求めてロビー活動を行い、他のあらゆる追い上げの試みを阻止することができる。」

GPTBot は自己識別するため、ウェブマスターは robots.txt を介してブロックできますが、トラフィックを促進する検索エンジン クローラーとは異なり、ブロックを許可してもメリットがないと主張する人もいます。

懸念されるのは、著作権で保護された素材が帰属表示なしで使用される場合です。 ChatGPT には現在帰属表示がありません。

GPTBot がサイト上でライセンスされた画像、ビデオ、音楽、その他のメディアをどのように扱っているのか疑問視する人もいます。これらのメディアをモデルのトレーニングに使用すると、著作権侵害にあたる可能性があります。

他の専門家は、AI が作成したコンテンツがトレーニングにフィードバックされると、クローラーによって生成されたデータによってモデルのパフォーマンスが低下する可能性があると考えています。

対照的に、OpenAI はオンライン コンテンツから学習する人に例え、公開されている Web データを自由に使用する権利があると主張する人もいます。しかし、OpenAIが商業目的でネットワークデータを収益化するのであれば、その利益を分配すべきだと主張する人もいる。

要約すると、GPTBot は、所有権、公正使用、オンライン コンテンツ作成者のインセンティブに関する複雑な議論を引き起こします。 robots.txt に従うことは良いステップですが、透明性がまだ欠けています。

AI 製品の急速な発展に伴い、「データ」はどのように活用されるべきか、これがテクノロジー業界の世論の次の焦点となるかもしれません。