ビッグデータと人工知能のために生まれた新しい職業：アルゴリズム専門家

[[69076]]

映画「マトリックス」でレオが銃弾の雨をかわす難しい動きを誰もが覚えているはずだ。この映画はビッグデータと人工知能に満ちている。アルゴリズムの専門家は、データベースをマーク、検出、整理し、さらには敵を攻撃します。当時はSFの世界のように思われていたものが、今では広く使われている技術です。

ビッグデータとは、さまざまな種類のデータから貴重な情報を迅速に取得する能力を指します。これを理解することは非常に重要であり、それがこのテクノロジーが多くの企業にとって非常に魅力的な理由です。

アマゾンの価格比較推奨、Netflix の「ハウス・オブ・カード」人気に対する計画の成功、マイクロソフト リサーチ ニューヨークの経済学者デビッド・ロスチャイルドによるオバマ大統領からアカデミー賞、NBA に至るまでのデータを正確に予測したことなどから、これが単なる見せかけの技術ではないことが十分に証明されている。

ビッグデータには 4 つの明らかな利点があります。まず、データ量が膨大であることです。 TB レベルから PB レベルに飛躍しました。第二に、データの種類が多くなりました。上記のウェブログ、ビデオ、写真、地理的位置情報など。 3つ目は、価値密度が低いことです。ビデオを例にとると、継続的な監視中に有用なデータが 1 秒か 2 秒しかない場合があります。 4つ目は、処理速度が速いことです。

人工知能は非常に複雑な分野であり、他の知識の側面も含む学際的なコンピュータ分野です。その主な内容は、コンピュータが人間の自然言語処理を学習することです。私たちはターミネーターのようなSFシーンを想像する必要はありません。それは科学者が研究すべきものです。現実の世界では、音声認識機能を備え、自然言語処理の一部である Apple の Siri など、ビッグデータと人工知能を組み合わせた製品がますます増えています。実際の応用においては、スマートフォン上でのサービス展開など、ユーザーの日常的なニーズを解決できる多くの役割を果たします。

では、ここはビッグデータと人工知能が出会うのにふさわしい場所なのでしょうか? 簡単な原則を見てみましょう。

『ビッグデータ：私たちの生活、仕事、思考を変える革命』という本の中で、著者のビクター・メイヤーは、現在のコンピュータシステムは、プログラムの作成時に明示的に従うよう要求されているルールに基づいて計算を実行すると述べています。したがって、結果が時々、そして必然的に間違っている場合は、戻って再コーディングすることができます。コンピュータ コードがどんなに複雑であっても、あらゆる操作の基礎を理解して実行することは可能です。

しかし、ビッグデータを追跡することは非常に困難になっています。まず、アルゴリズムによる予測の基礎は、一般の人には理解できないほど複雑すぎる可能性があります。 Google 翻訳は、数十億ページ分の翻訳データを使用して単語の翻訳方法を決定します。 膨大な量のデータに基づくこの大規模な統計計算により、アルゴリズムの特定の要素を追跡することはほぼ不可能になります。同時に、ビッグデータの規模により、その運用規模は私たちの想像を超えています。 Google は 4 億 5000 万の数学的モデルをテストした結果、いくつかの検索キーワードとインフルエンザとの関連性を特定しました。

顧客にこの技術を使うよう説得したい場合、調整を手伝ってくれるアルゴリズム専門家が必要です。この職業に就く人にはどのような要件がありますか?

まず、これらの専門家はコンピューターサイエンス、数学、統計学の専門家です。彼らは日々の仕事の中で、ビッグデータの分析と予測を検討しています。データ ソースを評価し、予測を分析し、基礎となるアルゴリズム モデルを作成します。アルゴリズムの原理をテストする必要がある場合は、アルゴリズムの結果、統計的手法、データベースを呼び出します。簡単に言えば、アルゴリズム担当者はデータの選別を担当します。

コンピュータの発達により、蓄積された膨大なデータベースを、目的に応じて利用できるように整理・編集する人が必要になりました。ここで、アルゴリズム専門家は外部アルゴリズム専門家と内部アルゴリズム専門家に分けられます。外部のアルゴリズム専門家は、裁判所命令や規制が発令されたときなど、政府が必要とするときに、ビッグデータ予測の正確性や合理性をチェックする中立的な監査人として行動することができます。アルゴリズム専門家は、ビッグデータ企業にサービスを提供したり、専門的な監査サービスを提供したりすることができます。

社内のアルゴリズム専門家が組織内のビッグデータ活動を監視します。彼らは、企業の利益だけでなく、企業のビッグデータ分析の影響を受ける人々の利益にも焦点を当てています。彼らはビッグデータ運用を監督しており、社内のアルゴリズム専門家は、政府機関のビッグデータ予測によって損害を受けたと感じた人が最初に連絡を取る相手である。データが公開される前に、分析の完全性と正確性を確認します。最初の 2 つのタスクを達成するには、アルゴリズム担当者は勤務先の企業内である程度の自由と中立性を享受する必要があります。つまり、社内アルゴリズム専門家は、企業が社会の信頼を維持するために必要な職業なのです。

アルゴリズム専門家の需要の最も直接的な理由は、ビッグデータの分野では企業を制約する新しい規範や標準がまだ確立されていないことです。アルゴリズムエンジニアは、個人情報のセキュリティに関する社会の懸念を解決するためのシステムを設計します。ブラックボックスを開くこの職業に興味がある人はいますか？