人工知能の開発体制〜米国の研究動向〜
最終更新：ID:4loX4J3QLA 2024年04月14日(日) 14:03:24履歴
━━汎用人工知能(AGI)の研究動向 "Research trends in artificial general intelligence" "通用人工智能的研究趋势" "强人工智能的研究趋势" "Strong AI" 
2013年にオバマ前大統領が脳研究巨大プロジェクト「BRAIN Initiative」*¹を発表。
米国立衛生研究所(NIH)が公表している「BRAIN2025」という研究白書をベースに、2025年を目標として脳の全容解明をするというプログラムである。
BRAIN InitiativeにはGoogleを含む複数の企業が参加しており、この研究で培った神経科学的知見が汎用AI開発にフィードバックされる。
同年にGoogleが、ジェフリー・ヒントン氏率いるDNN Research社を買収。
翌年2014年には、DeepMindを買収する。
それに併せて、認知神経科学の博士号及びゲームプログラマーの肩書きを持つデミス・ハサビス氏を雇い入れる。
未来学者兼発明家であるレイ・カーツワイル氏は、2012年にGoogleからヘッドハントされている。
彼は「The Singularity Is Near」の著者である。
GoogleのAI研究所は、米マウンテンビュー本社と世界主要都市に拠点を置くジェフ・ディーン氏率いるGoogle Brainと、イギリスに本社を構えるDeepMindである。
GAN(敵対的生成ネットワーク)の発案者であるイアン・グッドフェロー氏も2022年からDeepMindチームに所属する。
Google Brainは、2012年に同社が持つコンピューティングリソースで"猫という概念の獲得"に成功したり、TensorFlowといった深層学習用分散処理フレームワーク、JAXなどの損失関数の自動微分フレームワークを公開したりと、AIブームの業界で先陣を切っている。TensorFlowは学習係数の最適化計算(確率的勾配降下法)や勾配の自動微分といったニューラルネットの計算過程を高速に実行する。またデータの読込みからモデル計算まで、並列計算による高速化を実現する骨子を備える。
JAXはTensorflowと同様にXLA(Accelerated Linear Algebra)と呼ばれる線形代数の演算に特化したコンパイラに対応しており、@jitデコレータを指定されたフォーマットの関数につけるだけで実行時に自動的にコンパイルされ、大規模な行列計算やfor文による繰り返しなどを高速化することができる。
多くのフレームワークは、”計算グラフ”によりニューラルネットワークを構築している。計算グラフは計算の流れをグラフ構造により記述したもので、複雑な処理でも視覚的に処理内容を理解することができる。
ニューラルネットワークの学習では損失関数を計算グラフとして表現し、自動微分で偏微分を求めるのが定石となっている。
TensorFlowは、”Define and Run”と呼ばれる「計算グラフを構築した後にデータを流し処理を実行する」方式を取っていたが、後にFacebook社が採用する”Define-by-run”では、「計算グラフの構築と順伝播処理の実行が同時に行われる」方式が考えられ、Google社もその方式に対応するよう改良されている。自然言語処理には後者の方式が向いているとされる。
2017年にRNNやLSTMに代わって長い文章の処理を可能にした自然言語処理アーキテクチャである「Transformer」を開発したのもGoogleである。
2021年10月、GoogleBrainは視覚、聴覚、言語理解力を統合し同時に処理するマルチモーダルAIモデル「Pathways」を開発中であると発表した。
https://blog.google/technology/ai/introducing-path...
1つのモデルで数千、または数百万ものタスクを実行できるとディーン氏は主張する。従来の機械学習モデルは、あるタスクで優れている場合、個々のタスクに特化しすぎている傾向があり柔軟性がない。マルチモーダルAIは、異なる種類のデータを横断的に理解し、一つの入力で異なる種類のデータを出力できるという。このPathwaysを使い、PaLMという自然言語処理モデルを現在開発中である。
Googleは、Pathwaysをベースにした自然言語処理とDiffusion Modelを連携し、画像生成モデルPartiを発表した。Dalle2やimagenと比べて、長い文章を処理できるという。
また、動画生成AIモデルImagen Videoを2022年10月に発表した。
https://parti.research.google/
https://imagen.research.google/video/
Googleは、自然言語処理としてPathwaysをベースにした数学の問題を解けるモデルMinervaを開発した。
高校や大学レベル、数学オリンピックレベルの問題を解くことができるが、答えが複数出てくるため、多数決で最もらしいものを選択的に生成する。問題を国語的に解くため、簡単な平方根の問題を解けなかったりする場合もある。
https://ai.googleblog.com/2022/06/minerva-solving-...
さらにGoogleは、PaLMや深層学習による物体認識を統合して、ロボットに実装するという研究を行っている。言語認識、行動計画、画像認識、様々なタスクが実現できるようになっている。
近年の画像生成モデルは、言語モデルと連携して情報を生成することができる。それと同様に、行動計画も画像のように生成することができる。
Googleのロボティクス部門は、Robotics Transformer 1(RT-1)と呼ばれるロボットの入力と出力行動(カメラ画像、タスク指示、モータ命令など)をトークン化して学習し、実行時にリアルタイム推論を可能にするマルチタスクモデルを開発した。
あらかじめ13台のロボットを用いて17ヶ月間に収集された、700以上のタスクをカバーする13万エピソードからなる大規模な実世界のロボティクスデータセットで訓練されている。
2022年12月、Googleは文章を画像としてTransformerに学習させることが可能となる、新しい画像分類モデルCLIPPOを提案した。
https://arxiv.org/abs/2212.08045
Googleは、「Flan-PaLM」と呼ばれる巨大言語モデルを開発した。米国医師免許試験(USMLE)形式のタスク「MedQA」で正答率67.6%を記録し、PubMedQAで79.0%を達成した。
57ジャンルの選択問題タスク「MMLU」の医療トピックでもFlan-PaLMの成績は他の巨大モデルを凌駕した。臨床知識で80.4%、専門医学で83.8%、大学生物学で88.9%、遺伝医療学で75.0%の正答率である。
https://arxiv.org/abs/2212.13138
2022年9月、Googleはテキストから3Dモデルを生成できる「DreamFusion」を開発した。複数の静止画から3Dモデルを生成するNeRFや、Diffusion Modelを使用している。
https://dreamfusion3d.github.io/
*¹カブリ財団が発案、米国政府が発足した国家計画
───────────────────────────────────────────────────────────────────────────────────────────────
ハサビス氏は「脳の働きは非常に複雑だがコンピューターで再現できないものはないというのが我々の現時点の見方だ」
と言及しており、700人体制(社員)で汎用AI開発に取り組んでいる。*日経記事のインタビュー
ハサビス氏が創業したDeepMindは、深層強化学習の研究に重点を置いており、Q学習を適用したことで有名なDeep Q-Networksを代表としたゲームAIの開発に強みがある。
最近では、より脳の一部機能を模倣したGenerative Query Network(GQN)の開発に成功している。
GQNは、ある世界において異なる様々な視点からのシーン(映像)を内部生成し、その後別の視点からのシーン(映像)を予測するという、世界モデル(外界からの刺激を元に外界世界を内部シミュレート)構造に近いアルゴリズムであるという。
これにより、「人間が手動でラベル付けすることなく、世界を学習することが可能になる」とDeepMindの研究者は主張する。
ハサビス氏を代表とする創業者らは、神経科学における最新の知見をAI研究に取り入れるため、University College London(ギャツビー計算神経科学ユニット)に隣接する形で本社を置いた。
英UCLの研究者,学生らをいち早く囲い込む目的もあると見られる。
DeepMindは、強化学習と好奇心こそが知能(問題解決)の源泉だと考えており、それらDQNのようなプログラムに異種複数の機械学習を数多く組み合わせ、人間のような柔軟性あるAIシステムを開発していく方針となっている。
脳をそのまま再現するという手法ではなく、脳を参考にして重要な部品をソフト工学的に実現していく。
具体的には、内発的動機やエピソード記憶、運動処理、想像力、言語などである。
2023年1月11日、DeepMindは、画像から世界モデルを学習し、それを使用して長期視点から考えて最適な行動を学習する事が出来る「DreamerV3」を発表した。
https://arxiv.org/pdf/2301.04104v1.pdf
これは2020年に発表された「世界モデルベース強化学習」と呼ばれる技術をより進化させたものである。
「世界モデルベース強化学習」とは、”人間の高度な学習能力を支えているのは脳内シミュレータ―に基づく未来予測と行動計画である”という仮説のもと、脳内シミュレータを備えて強化学習エージェントを訓練しようというコンセプトである。
物体の種類、物体の位置、物体とその周辺環境との相互作用など、将来の結果を予測するのに役立つ概念を取得し、世界モデルを使って行われた予測から行動を学習し、学習した行動を実行環境で実行して新しい経験を収集する。
そして実行時には、構築された世界モデルを使用しながら報酬を予測し、行動を生成する。
2021年8月、DeepMindはさまざまな種類の入力と出力を処理できる汎用の深層学習モデル「Perceiver」を開発した。
https://arxiv.org/abs/2107.14795
2次計算やメモリのコストをかけずに、より長い入力シーケンスを処理できるという。このモデルは、テキスト,画像,音声など複数のデータタイプの同時入力を受け入れることができる。
Perceiverは音楽を生成することができる。
2022年4月28日、DeepMindは画像とテキスト処理を結び付けた言語モデル「Flamingo」を発表した。
画像の内容について文章を用いて説明することができ、その画像を話題にチャットをすることもできる。
https://storage.googleapis.com/deepmind-media/Deep...
2022年5月12日、DeepMindは様々なタスクを一つのモデルで実行することができる統合モデル「Gato」を発表した。
チャット、画像の生成と説明、四則演算、物体を掴むロボットの動作、ゲームの攻略等々、600にも及ぶ数々のタスクをこの一つのモデルで実行することができるという。
https://arxiv.org/pdf/2205.06175.pdf
この他にも、DeepMindは最先端の万能なAI研究だけでなく、自然科学にすぐ応用可能な特化型AIも開発し公開している。Transformerと強化学習を融合させた「AlphaFold」というタンパク質折り畳み問題を高い精度で予測するAIを無償公開している。
2022年02月、DeepMindは自動でプログラムのコーディングが可能なAI「AlphaCode」を発表した。
https://www.deepmind.com/blog/competitive-programm...
自然言語で入力した単純なプロンプトからコードを生成できる。その能力は、競技プログラミングコンテスト｢Codeforces｣で過去に出題されたプログラミング課題を解くタスクで、平均ランキング上位54.3%に入る実力である。
AlphaCodeはC++、C#、Go、Java、JavaScript、Lua、PHP、Python、Ruby、Rust、Scala、TypeScriptといったプログラミング言語に対応している。
それまでに見たことのない問題を解くことができ、コアとなるロジックをトレーニングデータ(学習元)からコピーするだけという動作はしない。AlphaCodeは、414億個のパラメータからなるTransformerベースの言語モデルである。
AlphaCodeは問題ごとに大量のC++とPythonのプログラムを作成し、フィルタリング・クラスタリング(k平均)・ランク付けというプロセスを経て最終的に10個の候補を残すことで、絞り込んでいく。
2022年10月、DeepMindは行列の積を効率的に計算するための未発見のアルゴリズムを導き出す「AlphaTensor」を開発した。
強化学習を使用し、行列の積を計算する最適な方法を求めること自体をゲームとみなし、AlphaTensorに訓練させた。その結果、「4×5の行列」と「5×5の行列」の積を求める際に、通常の計算方法で100回の乗算が必要なところを、76回に減らすことができた。
AlphaTensorは行列計算だけでなく、高速逆平方根計算アルゴリズムやダイクストラ法、ハフマン符号、カラツバ法等の古くからある計算アルゴリズムを大きく改善できる可能性がある。HTTP通信プロトコルのパケット処理など、ネットワークの通信そのものも高速化できる可能性がある。また画像圧縮や動画圧縮など、計算内容を圧縮する必要があるような手法も改良できると期待される。
2020年2月、DeepMindはグラフネットワークという手法を利用して、物理シミュレーションを使わずに固体や流体の物理表現を模倣できる技術を発表した。
https://github.com/deepmind/deepmind-research/tree...
例えば、流体のシミュレーションを行う場合、流体力学の基礎であるナビエ・ストークス方程式をコードに組み込む必要がある。しかしこの手法では作りこんだ方程式を利用したシミュレーションを行う必要がない。必要なのは観測データの学習である。
相互作用する流体、 剛体、 変形可能な物体など広い範囲のシミュレーションは粒子ベースで近傍同士をつないだグラフNNを使って正確に模倣できる。各粒子は周辺情報を集積、変換し加速度の予測を教師あり学習する。
この手法はパラメータがわからない未知の物理現象に対して、予測モデルを作成する際に有効であると考えられる。
2023年12月、GoogleBrainとDeepMindは「Gemini 1.0」と題したマルチモーダル大規模言語モデルを発表した。
https://deepmind.google/technologies/gemini/
このモデルは、最初からマルチモーダルなデータセットで同時学習させられており、DeepMindが得意とする強化学習の技術で、人間からのフィードバックを基に訓練されている。
知識と問題解決能力をテストする指標の1つである MMLU(Massive Multitask Language Understanding)において、人間の専門家を上回るパフォーマンスを示した。
また同時に、Geminiベースのプログラミングに特化したAI「AlphaCode 2」が発表されている。
2024年02月16日、Gemini Pro 1.5 を発表した。
最大100万トークンを処理でき、1時間のムービーや70万語のテキストを扱うことが可能となっている。
─────────────────────────────────────────────────────────────────────────────────────────
カーツワイル氏は、大脳新皮質をシミュレーションさせる「Neocortex Simulator」の開発に取り組んでいる。
彼は、新皮質を再現するアルゴリズムに「HMM理論(隠れマルコフモデル)」を応用する考えであることを表明している。大脳新皮質の回路は一様な機構を持ちつつも入出力に与えられる情報に応じて多様な機能を発揮できるとされる。
また、彼の階層理論を元にした自然言語処理ソフトを開発する「Konaプロジェクト」を推し進めている。言語モデルLaMDAの開発にも関わっている。
2018年現在、35名程の開発チームを統率する立場にある(Gmailスマートリプライの設計)
ヒントン氏は、2012年10月にCNNを取り入れた「AlexNet」を発表してからというもの、翌年以降はGoogle Brain(カナダトロント支社)に所属し、同社の音声認識や画像検索に改善を施している。
トロント大学教授も務めながら、近年「CapsNet(カプセルネットワーク)」を発案した。
CNNは、画像分類や顔検知、物体検出などで素晴らしい性能を発揮するが、残念ながら視野角や背景が変わると認識精度が低下したり、人間には識別できないノイズを少しでも画像に混入すると誤認が発生する欠点がある。ヒントン氏はCNNで用いられているプーリングという操作が大きな過ちであると主張する。プーリングにより位置不変性を獲得すると同時に、空間的な構造の情報を喪失してしまう。
そこでヒントン氏が提案するCapsNetは、プーリングで失われていた空間情報を保持できるようにするため、空間情報をベクトルとして出力できるようにする。CapsNetでは、スカラーの代わりにベクトルを用いる。
ベクトルは、対応する重み行列Wが掛けられる。これは、空間的な情報と高いレベルのカプセル(顔)と低いレベルのカプセル(目、鼻、口)の関係を結びつける。
空間情報を保持しているため、各オブジェクト間の相対位置、相対方向が同じであれば、”違う角度でも同じ特徴の画像は同じもの”と認識できる
─────────────────────────────────────────────────────────────────────────────────────────
その他、Vicarious,Numentaといった研究機関が存在する。
彼らはカーツワイル氏らのチームと同じく、「大脳新皮質」に研究対象を絞って汎用AIを開発しようとしている組織のようである。
Vicariousはディレップ・ジョージ氏を代表として、成果を明かさず閉鎖的に研究を進めている。
Numentaは、ジェフ・ホーキンス氏を代表として、新皮質の構造からインスパイアした「HTM理論(階層型時間メモリ)」の研究にリソースを注いでいる。
またNumentaは、IBM Reserchと共同で大脳新皮質の原理とそれを応用したシステムの研究をするため「IBM Cortical Learning Center」を設置した。
ジョージ氏率いるVicariousは、HTM理論の初期に提案されたZeta1アルゴリズムを発展させ、「Recursive Cortical Network理論」を考案。
この理論を実装したプログラムで、CAPTCHAの突破に成功している。
2019年1月、Numentaは正式に新皮質のグリッド細胞に基づく新しい知性フレームワーク仮説「Thousand Brains Theory」を発表した。
https://numenta.com/blog/2019/01/16/the-thousand-b...
https://www.frontiersin.org/articles/10.3389/fncir...
大脳新皮質のいたるところに、グリッドセル(場所細胞)が存在することを、この仮説は提案する。
自分の位置を推定するためにあると考えられているグリッドセルが、あらゆるオブジェクトの構造を学習するのに使用されているという。
2022年4月、Google親会社のAlphabetはVicariousを買収し、CTOのディレップ・ジョージ氏を研究者としてDeepMindにヘッドハントした。
https://www.intrinsic.ai/blog/posts/mission-moment...
更に、米国エネルギー省管轄下のパシフィック北西国立研究所とサンディア国立研究所、ジョージア工科大学の三機関が連携し、人工知能研究センター(ARIAA)を立ち上げている。
主にサンディア国立研究所がAGIの開発を取り仕切っていると見られる。
IBM Reserchは、ニューラルネットの強みと、従来型のシンボリック（記号的知識推論）AIの強みを併せ持ったシステムを開発中である。
IBM Researchから発表された LNN(Logical Neural Networks) は、論理推論と大規模知識、探索エンジン、深層学習を連携させ、厳密な処理を必要とする業務※に向いたAIシステムに繋がると予想される。これらの技術をIBM WatsonXに組み込むかどうかは不明である。
※法務、弁護士、医療診断、管制など
────────────────────────────────────────────────────────────────────────────────────
最後に、イーロンマスク氏やサムアルトマン氏らが共同で設立したOpenAIという組織がある。
彼らもAGIの開発を目的にこの組織を立ち上げたが、AGIを作成する際に必ずしも脳の構造を模倣する必要はないというスタンスのもと、比較的自由な方向性で開発を進めているようである。(純粋に特化型AIの可能性を追求する)
2019年7月、OpenAI LPにMicrosoftは10億ドル以上を出資すると発表した。サムアルトマン氏とサティアナデラ氏の共同発表である。
Microsoft社のAzureクラウドを計算資源として利用するという旨で提携をした。MSR AIの最高技術責任者であるエリックホービッツ氏もこの提携に関わっている。
https://www.itmedia.co.jp/news/articles/1907/23/ne...
OpenAIは2018年6月からリリースしている、Transformerベースの自然言語処理プログラム「GPTシリーズ」の第三世代モデル「GPT-3」を2020年5月に発表した。
このモデルは、2017年にGoogleが構築した自己注意機構を採用する「Transformer」をベースに構築された大規模汎用言語モデルである。パラメータ数は1750億である。
OpenAIは、ネット上特にRedditの良質な議論の書き込みやツイッターの文章、英語版ウィキペディア等大量の文章を学習させた。その結果、人間が書いた文章と見分けがつかない高品質な文章を、入力に基づいて生成できるようになった。
GPT-3は文章の理解,生成だけでなく、JavaScriptコードの生成、Pythonコードの生成、チャット、簡単な四則演算を行うことができる。単なる巨大なパラメータを備えたNLPモデルであるにも関わらず、極めて汎用的なシステムのように見える。
さらに、GPT-3に画像分類モデルや拡散モデルといった最新の画像生成アルゴリズムを組み合わせることで、文章に基づく画像生成を実行することができる。
OpenAIは、データの内容とアルゴリズムの構造を微調整して再学習させた次世代モデル「GPT-4」を数年以内にリリースする予定である。※パラメータ数の増強は見送る
OpenAIは2021年7月、Pythonをベースとしたニューラルネットワーク向けプログラミング言語「Triton」を無償公開した。
NVIDIAのCUDAを用いる場合、GPU用のネイティブカーネルや関数を作成する過程で、マルチコアGPUのメモリ階層全体で割り当てデータと命令を移動しなければならず、プログラミングが非常に複雑になる。
Tritonを使用すると、25行未満のコードでcuBLASライブラリのパフォーマンスに匹敵するFP16乗算カーネルを作成することが可能となる。
2022年冬には、GPT-3.5がリリースされた。チャット形式で一般公開されている。
基本的には、GPT-3と機能はさほど変わらないが、バラバラだった応答性能がより統合されている。Excel表から顧客IDを検索して情報を取得するVBAコードを、ChatGPTが生成してくれることもある。また、ブラウザ上のGUI操作を自動化してくれるワークフロー自動化に近い動作も実現できる。
また、Unreal Engine内でOpenAI APIにアクセスすることができるプラグインが有志によって開発され、ゲームの動作プログラムやキャラクターの会話、3Dテクスチャ生成にも大きく活用できることが期待される。
2023年以降、Microsoftは自社の製品群にOpenAIが開発したGPT-4を統合していくことを発表した。
具体的にはBing検索エンジン、Microsoft 365におけるExcelやWord、Microsoft Power Automate、AzureにおけるAzure Data Lakeなどの法人向けデータ分析管理サービスと連携させる。Visual studioはOpenAI Codex Modelを使用したGithub Copilotサービスを利用して、コーディング作業の補助を行えるようにする。
Microsoft Research AIは、画像を読み込んでそれに対しての認識と会話ができる、マルチモーダルパイプライン大規模言語モデル「LLaVA」を発表した。
https://llava-vl.github.io/
その後、レントゲン写真やMRI画像などの医学データに対応した医療用視覚言語モデル「LLaVA-Med」を発表している。
https://github.com/microsoft/LLaVA-Med
────────────────────────────────────────────────────────────────────────────────────────────────────────
2018年、ハーバード大学は畳み込みニューラルネットの構造をそのままに、そこに量子回路の仕組みを導入した「量子畳み込みニューラルネット(QCNN)」を提案した。
https://arxiv.org/abs/1810.03787
研究者は、物理学における繰り込みプロセスがパターン認識過程、特にCNNを使用して画像内のオブジェクトを識別する畳み込み層といくつかの類似点を共有していることを発見。
CNNが小さな複数の局所ユニットから作られているという事実。そして、入力データを階層的に処理する能力、これらが量子物理学におけるくりこみ技術と相性がよいことを示唆した。
研究者は、疑似マルチスケールエンタングルメント繰り込みと量子誤り訂正を組み合わせた。ここでは量子自体の仕組みがかなり難しく難解なため、説明を省く。
MIT脳精神機械研究所は、線虫の神経系をベースにした「リキッドニューラルネット」を考案した
https://cbmm.mit.edu/video/liquid-neural-networks
米国立衛生研究所(NIH)が公表している「BRAIN2025」という研究白書をベースに、2025年を目標として脳の全容解明をするというプログラムである。
動画
同年にGoogleが、ジェフリー・ヒントン氏率いるDNN Research社を買収。
翌年2014年には、DeepMindを買収する。
それに併せて、認知神経科学の博士号及びゲームプログラマーの肩書きを持つデミス・ハサビス氏を雇い入れる。
未来学者兼発明家であるレイ・カーツワイル氏は、2012年にGoogleからヘッドハントされている。
彼は「The Singularity Is Near」の著者である。
GoogleのAI研究所は、米マウンテンビュー本社と世界主要都市に拠点を置くジェフ・ディーン氏率いるGoogle Brainと、イギリスに本社を構えるDeepMindである。
GAN(敵対的生成ネットワーク)の発案者であるイアン・グッドフェロー氏も2022年からDeepMindチームに所属する。
Google Brainは、2012年に同社が持つコンピューティングリソースで"猫という概念の獲得"に成功したり、TensorFlowといった深層学習用分散処理フレームワーク、JAXなどの損失関数の自動微分フレームワークを公開したりと、AIブームの業界で先陣を切っている。TensorFlowは学習係数の最適化計算(確率的勾配降下法)や勾配の自動微分といったニューラルネットの計算過程を高速に実行する。またデータの読込みからモデル計算まで、並列計算による高速化を実現する骨子を備える。
JAXはTensorflowと同様にXLA(Accelerated Linear Algebra)と呼ばれる線形代数の演算に特化したコンパイラに対応しており、@jitデコレータを指定されたフォーマットの関数につけるだけで実行時に自動的にコンパイルされ、大規模な行列計算やfor文による繰り返しなどを高速化することができる。
多くのフレームワークは、”計算グラフ”によりニューラルネットワークを構築している。計算グラフは計算の流れをグラフ構造により記述したもので、複雑な処理でも視覚的に処理内容を理解することができる。
ニューラルネットワークの学習では損失関数を計算グラフとして表現し、自動微分で偏微分を求めるのが定石となっている。
TensorFlowは、”Define and Run”と呼ばれる「計算グラフを構築した後にデータを流し処理を実行する」方式を取っていたが、後にFacebook社が採用する”Define-by-run”では、「計算グラフの構築と順伝播処理の実行が同時に行われる」方式が考えられ、Google社もその方式に対応するよう改良されている。自然言語処理には後者の方式が向いているとされる。
2017年にRNNやLSTMに代わって長い文章の処理を可能にした自然言語処理アーキテクチャである「Transformer」を開発したのもGoogleである。
Transformerの簡単な説明
2021年10月、GoogleBrainは視覚、聴覚、言語理解力を統合し同時に処理するマルチモーダルAIモデル「Pathways」を開発中であると発表した。
https://blog.google/technology/ai/introducing-path...
1つのモデルで数千、または数百万ものタスクを実行できるとディーン氏は主張する。従来の機械学習モデルは、あるタスクで優れている場合、個々のタスクに特化しすぎている傾向があり柔軟性がない。マルチモーダルAIは、異なる種類のデータを横断的に理解し、一つの入力で異なる種類のデータを出力できるという。このPathwaysを使い、PaLMという自然言語処理モデルを現在開発中である。
Googleは、Pathwaysをベースにした自然言語処理とDiffusion Modelを連携し、画像生成モデルPartiを発表した。Dalle2やimagenと比べて、長い文章を処理できるという。
また、動画生成AIモデルImagen Videoを2022年10月に発表した。
https://parti.research.google/
https://imagen.research.google/video/
Googleは、自然言語処理としてPathwaysをベースにした数学の問題を解けるモデルMinervaを開発した。
高校や大学レベル、数学オリンピックレベルの問題を解くことができるが、答えが複数出てくるため、多数決で最もらしいものを選択的に生成する。問題を国語的に解くため、簡単な平方根の問題を解けなかったりする場合もある。
https://ai.googleblog.com/2022/06/minerva-solving-...
さらにGoogleは、PaLMや深層学習による物体認識を統合して、ロボットに実装するという研究を行っている。言語認識、行動計画、画像認識、様々なタスクが実現できるようになっている。
近年の画像生成モデルは、言語モデルと連携して情報を生成することができる。それと同様に、行動計画も画像のように生成することができる。
Googleのロボティクス部門は、Robotics Transformer 1(RT-1)と呼ばれるロボットの入力と出力行動(カメラ画像、タスク指示、モータ命令など)をトークン化して学習し、実行時にリアルタイム推論を可能にするマルチタスクモデルを開発した。
あらかじめ13台のロボットを用いて17ヶ月間に収集された、700以上のタスクをカバーする13万エピソードからなる大規模な実世界のロボティクスデータセットで訓練されている。
動画
https://arxiv.org/abs/2212.08045
Googleは、「Flan-PaLM」と呼ばれる巨大言語モデルを開発した。米国医師免許試験(USMLE)形式のタスク「MedQA」で正答率67.6%を記録し、PubMedQAで79.0%を達成した。
57ジャンルの選択問題タスク「MMLU」の医療トピックでもFlan-PaLMの成績は他の巨大モデルを凌駕した。臨床知識で80.4%、専門医学で83.8%、大学生物学で88.9%、遺伝医療学で75.0%の正答率である。
https://arxiv.org/abs/2212.13138
2022年9月、Googleはテキストから3Dモデルを生成できる「DreamFusion」を開発した。複数の静止画から3Dモデルを生成するNeRFや、Diffusion Modelを使用している。
https://dreamfusion3d.github.io/
*¹カブリ財団が発案、米国政府が発足した国家計画
これまでにGoogleが買収したAIスタートアップ一覧
ハサビス氏は「脳の働きは非常に複雑だがコンピューターで再現できないものはないというのが我々の現時点の見方だ」
と言及しており、700人体制(社員)で汎用AI開発に取り組んでいる。*日経記事のインタビュー
ハサビス氏が創業したDeepMindは、深層強化学習の研究に重点を置いており、Q学習を適用したことで有名なDeep Q-Networksを代表としたゲームAIの開発に強みがある。
最近では、より脳の一部機能を模倣したGenerative Query Network(GQN)の開発に成功している。
GQNは、ある世界において異なる様々な視点からのシーン(映像)を内部生成し、その後別の視点からのシーン(映像)を予測するという、世界モデル(外界からの刺激を元に外界世界を内部シミュレート)構造に近いアルゴリズムであるという。
これにより、「人間が手動でラベル付けすることなく、世界を学習することが可能になる」とDeepMindの研究者は主張する。
ハサビス氏を代表とする創業者らは、神経科学における最新の知見をAI研究に取り入れるため、University College London(ギャツビー計算神経科学ユニット)に隣接する形で本社を置いた。
英UCLの研究者,学生らをいち早く囲い込む目的もあると見られる。
DeepMindは、強化学習と好奇心こそが知能(問題解決)の源泉だと考えており、それらDQNのようなプログラムに異種複数の機械学習を数多く組み合わせ、人間のような柔軟性あるAIシステムを開発していく方針となっている。
脳をそのまま再現するという手法ではなく、脳を参考にして重要な部品をソフト工学的に実現していく。
具体的には、内発的動機やエピソード記憶、運動処理、想像力、言語などである。
AGIの最低要件
2023年1月11日、DeepMindは、画像から世界モデルを学習し、それを使用して長期視点から考えて最適な行動を学習する事が出来る「DreamerV3」を発表した。
https://arxiv.org/pdf/2301.04104v1.pdf
これは2020年に発表された「世界モデルベース強化学習」と呼ばれる技術をより進化させたものである。
「世界モデルベース強化学習」とは、”人間の高度な学習能力を支えているのは脳内シミュレータ―に基づく未来予測と行動計画である”という仮説のもと、脳内シミュレータを備えて強化学習エージェントを訓練しようというコンセプトである。
物体の種類、物体の位置、物体とその周辺環境との相互作用など、将来の結果を予測するのに役立つ概念を取得し、世界モデルを使って行われた予測から行動を学習し、学習した行動を実行環境で実行して新しい経験を収集する。
そして実行時には、構築された世界モデルを使用しながら報酬を予測し、行動を生成する。
2021年8月、DeepMindはさまざまな種類の入力と出力を処理できる汎用の深層学習モデル「Perceiver」を開発した。
https://arxiv.org/abs/2107.14795
2次計算やメモリのコストをかけずに、より長い入力シーケンスを処理できるという。このモデルは、テキスト,画像,音声など複数のデータタイプの同時入力を受け入れることができる。
Perceiverは音楽を生成することができる。
音楽の例
2022年4月28日、DeepMindは画像とテキスト処理を結び付けた言語モデル「Flamingo」を発表した。
画像の内容について文章を用いて説明することができ、その画像を話題にチャットをすることもできる。
https://storage.googleapis.com/deepmind-media/Deep...
2022年5月12日、DeepMindは様々なタスクを一つのモデルで実行することができる統合モデル「Gato」を発表した。
チャット、画像の生成と説明、四則演算、物体を掴むロボットの動作、ゲームの攻略等々、600にも及ぶ数々のタスクをこの一つのモデルで実行することができるという。
https://arxiv.org/pdf/2205.06175.pdf
この他にも、DeepMindは最先端の万能なAI研究だけでなく、自然科学にすぐ応用可能な特化型AIも開発し公開している。Transformerと強化学習を融合させた「AlphaFold」というタンパク質折り畳み問題を高い精度で予測するAIを無償公開している。
これまでにDeepMindが開発した科学研究特化型AI
2022年02月、DeepMindは自動でプログラムのコーディングが可能なAI「AlphaCode」を発表した。
https://www.deepmind.com/blog/competitive-programm...
自然言語で入力した単純なプロンプトからコードを生成できる。その能力は、競技プログラミングコンテスト｢Codeforces｣で過去に出題されたプログラミング課題を解くタスクで、平均ランキング上位54.3%に入る実力である。
AlphaCodeはC++、C#、Go、Java、JavaScript、Lua、PHP、Python、Ruby、Rust、Scala、TypeScriptといったプログラミング言語に対応している。
それまでに見たことのない問題を解くことができ、コアとなるロジックをトレーニングデータ(学習元)からコピーするだけという動作はしない。AlphaCodeは、414億個のパラメータからなるTransformerベースの言語モデルである。
AlphaCodeは問題ごとに大量のC++とPythonのプログラムを作成し、フィルタリング・クラスタリング(k平均)・ランク付けというプロセスを経て最終的に10個の候補を残すことで、絞り込んでいく。
2022年10月、DeepMindは行列の積を効率的に計算するための未発見のアルゴリズムを導き出す「AlphaTensor」を開発した。
強化学習を使用し、行列の積を計算する最適な方法を求めること自体をゲームとみなし、AlphaTensorに訓練させた。その結果、「4×5の行列」と「5×5の行列」の積を求める際に、通常の計算方法で100回の乗算が必要なところを、76回に減らすことができた。
AlphaTensorは行列計算だけでなく、高速逆平方根計算アルゴリズムやダイクストラ法、ハフマン符号、カラツバ法等の古くからある計算アルゴリズムを大きく改善できる可能性がある。HTTP通信プロトコルのパケット処理など、ネットワークの通信そのものも高速化できる可能性がある。また画像圧縮や動画圧縮など、計算内容を圧縮する必要があるような手法も改良できると期待される。
2020年2月、DeepMindはグラフネットワークという手法を利用して、物理シミュレーションを使わずに固体や流体の物理表現を模倣できる技術を発表した。
https://github.com/deepmind/deepmind-research/tree...
例えば、流体のシミュレーションを行う場合、流体力学の基礎であるナビエ・ストークス方程式をコードに組み込む必要がある。しかしこの手法では作りこんだ方程式を利用したシミュレーションを行う必要がない。必要なのは観測データの学習である。
相互作用する流体、 剛体、 変形可能な物体など広い範囲のシミュレーションは粒子ベースで近傍同士をつないだグラフNNを使って正確に模倣できる。各粒子は周辺情報を集積、変換し加速度の予測を教師あり学習する。
この手法はパラメータがわからない未知の物理現象に対して、予測モデルを作成する際に有効であると考えられる。
2023年12月、GoogleBrainとDeepMindは「Gemini 1.0」と題したマルチモーダル大規模言語モデルを発表した。
https://deepmind.google/technologies/gemini/
このモデルは、最初からマルチモーダルなデータセットで同時学習させられており、DeepMindが得意とする強化学習の技術で、人間からのフィードバックを基に訓練されている。
知識と問題解決能力をテストする指標の1つである MMLU(Massive Multitask Language Understanding)において、人間の専門家を上回るパフォーマンスを示した。
また同時に、Geminiベースのプログラミングに特化したAI「AlphaCode 2」が発表されている。
2024年02月16日、Gemini Pro 1.5 を発表した。
最大100万トークンを処理でき、1時間のムービーや70万語のテキストを扱うことが可能となっている。
─────────────────────────────────────────────────────────────────────────────────────────
カーツワイル氏は、大脳新皮質をシミュレーションさせる「Neocortex Simulator」の開発に取り組んでいる。
彼は、新皮質を再現するアルゴリズムに「HMM理論(隠れマルコフモデル)」を応用する考えであることを表明している。大脳新皮質の回路は一様な機構を持ちつつも入出力に与えられる情報に応じて多様な機能を発揮できるとされる。
大脳新皮質が持っている能力
2018年現在、35名程の開発チームを統率する立場にある(Gmailスマートリプライの設計)
ヒントン氏は、2012年10月にCNNを取り入れた「AlexNet」を発表してからというもの、翌年以降はGoogle Brain(カナダトロント支社)に所属し、同社の音声認識や画像検索に改善を施している。
トロント大学教授も務めながら、近年「CapsNet(カプセルネットワーク)」を発案した。
CNNは、画像分類や顔検知、物体検出などで素晴らしい性能を発揮するが、残念ながら視野角や背景が変わると認識精度が低下したり、人間には識別できないノイズを少しでも画像に混入すると誤認が発生する欠点がある。ヒントン氏はCNNで用いられているプーリングという操作が大きな過ちであると主張する。プーリングにより位置不変性を獲得すると同時に、空間的な構造の情報を喪失してしまう。
そこでヒントン氏が提案するCapsNetは、プーリングで失われていた空間情報を保持できるようにするため、空間情報をベクトルとして出力できるようにする。CapsNetでは、スカラーの代わりにベクトルを用いる。
ベクトルは、対応する重み行列Wが掛けられる。これは、空間的な情報と高いレベルのカプセル(顔)と低いレベルのカプセル(目、鼻、口)の関係を結びつける。
- 入力ベクトルと行列の積
- 入力ベクトルへスカラーで重み付け
- 重み付けされた入力ベクトルの和
- ベクトルからベクトルへの非線形変換
- 活性化関数をsquah関数にする
空間情報を保持しているため、各オブジェクト間の相対位置、相対方向が同じであれば、”違う角度でも同じ特徴の画像は同じもの”と認識できる
─────────────────────────────────────────────────────────────────────────────────────────
その他、Vicarious,Numentaといった研究機関が存在する。
彼らはカーツワイル氏らのチームと同じく、「大脳新皮質」に研究対象を絞って汎用AIを開発しようとしている組織のようである。
Vicariousはディレップ・ジョージ氏を代表として、成果を明かさず閉鎖的に研究を進めている。
Numentaは、ジェフ・ホーキンス氏を代表として、新皮質の構造からインスパイアした「HTM理論(階層型時間メモリ)」の研究にリソースを注いでいる。
またNumentaは、IBM Reserchと共同で大脳新皮質の原理とそれを応用したシステムの研究をするため「IBM Cortical Learning Center」を設置した。
ジョージ氏率いるVicariousは、HTM理論の初期に提案されたZeta1アルゴリズムを発展させ、「Recursive Cortical Network理論」を考案。
この理論を実装したプログラムで、CAPTCHAの突破に成功している。
2019年1月、Numentaは正式に新皮質のグリッド細胞に基づく新しい知性フレームワーク仮説「Thousand Brains Theory」を発表した。
https://numenta.com/blog/2019/01/16/the-thousand-b...
https://www.frontiersin.org/articles/10.3389/fncir...
大脳新皮質のいたるところに、グリッドセル(場所細胞)が存在することを、この仮説は提案する。
自分の位置を推定するためにあると考えられているグリッドセルが、あらゆるオブジェクトの構造を学習するのに使用されているという。
2022年4月、Google親会社のAlphabetはVicariousを買収し、CTOのディレップ・ジョージ氏を研究者としてDeepMindにヘッドハントした。
https://www.intrinsic.ai/blog/posts/mission-moment...
更に、米国エネルギー省管轄下のパシフィック北西国立研究所とサンディア国立研究所、ジョージア工科大学の三機関が連携し、人工知能研究センター(ARIAA)を立ち上げている。
主にサンディア国立研究所がAGIの開発を取り仕切っていると見られる。
IBM Reserchは、ニューラルネットの強みと、従来型のシンボリック（記号的知識推論）AIの強みを併せ持ったシステムを開発中である。
IBM Researchから発表された LNN(Logical Neural Networks) は、論理推論と大規模知識、探索エンジン、深層学習を連携させ、厳密な処理を必要とする業務※に向いたAIシステムに繋がると予想される。これらの技術をIBM WatsonXに組み込むかどうかは不明である。
※法務、弁護士、医療診断、管制など
────────────────────────────────────────────────────────────────────────────────────
最後に、イーロンマスク氏やサムアルトマン氏らが共同で設立したOpenAIという組織がある。
彼らもAGIの開発を目的にこの組織を立ち上げたが、AGIを作成する際に必ずしも脳の構造を模倣する必要はないというスタンスのもと、比較的自由な方向性で開発を進めているようである。(純粋に特化型AIの可能性を追求する)
2019年7月、OpenAI LPにMicrosoftは10億ドル以上を出資すると発表した。サムアルトマン氏とサティアナデラ氏の共同発表である。
Microsoft社のAzureクラウドを計算資源として利用するという旨で提携をした。MSR AIの最高技術責任者であるエリックホービッツ氏もこの提携に関わっている。
https://www.itmedia.co.jp/news/articles/1907/23/ne...
OpenAIは2018年6月からリリースしている、Transformerベースの自然言語処理プログラム「GPTシリーズ」の第三世代モデル「GPT-3」を2020年5月に発表した。
このモデルは、2017年にGoogleが構築した自己注意機構を採用する「Transformer」をベースに構築された大規模汎用言語モデルである。パラメータ数は1750億である。
OpenAIは、ネット上特にRedditの良質な議論の書き込みやツイッターの文章、英語版ウィキペディア等大量の文章を学習させた。その結果、人間が書いた文章と見分けがつかない高品質な文章を、入力に基づいて生成できるようになった。
GPT-3は文章の理解,生成だけでなく、JavaScriptコードの生成、Pythonコードの生成、チャット、簡単な四則演算を行うことができる。単なる巨大なパラメータを備えたNLPモデルであるにも関わらず、極めて汎用的なシステムのように見える。
さらに、GPT-3に画像分類モデルや拡散モデルといった最新の画像生成アルゴリズムを組み合わせることで、文章に基づく画像生成を実行することができる。
画像生成の例
OpenAIは2021年7月、Pythonをベースとしたニューラルネットワーク向けプログラミング言語「Triton」を無償公開した。
NVIDIAのCUDAを用いる場合、GPU用のネイティブカーネルや関数を作成する過程で、マルチコアGPUのメモリ階層全体で割り当てデータと命令を移動しなければならず、プログラミングが非常に複雑になる。
Tritonを使用すると、25行未満のコードでcuBLASライブラリのパフォーマンスに匹敵するFP16乗算カーネルを作成することが可能となる。
2022年冬には、GPT-3.5がリリースされた。チャット形式で一般公開されている。
基本的には、GPT-3と機能はさほど変わらないが、バラバラだった応答性能がより統合されている。Excel表から顧客IDを検索して情報を取得するVBAコードを、ChatGPTが生成してくれることもある。また、ブラウザ上のGUI操作を自動化してくれるワークフロー自動化に近い動作も実現できる。
また、Unreal Engine内でOpenAI APIにアクセスすることができるプラグインが有志によって開発され、ゲームの動作プログラムやキャラクターの会話、3Dテクスチャ生成にも大きく活用できることが期待される。
2023年以降、Microsoftは自社の製品群にOpenAIが開発したGPT-4を統合していくことを発表した。
具体的にはBing検索エンジン、Microsoft 365におけるExcelやWord、Microsoft Power Automate、AzureにおけるAzure Data Lakeなどの法人向けデータ分析管理サービスと連携させる。Visual studioはOpenAI Codex Modelを使用したGithub Copilotサービスを利用して、コーディング作業の補助を行えるようにする。
Microsoft Research AIは、画像を読み込んでそれに対しての認識と会話ができる、マルチモーダルパイプライン大規模言語モデル「LLaVA」を発表した。
https://llava-vl.github.io/
その後、レントゲン写真やMRI画像などの医学データに対応した医療用視覚言語モデル「LLaVA-Med」を発表している。
https://github.com/microsoft/LLaVA-Med
────────────────────────────────────────────────────────────────────────────────────────────────────────
2018年、ハーバード大学は畳み込みニューラルネットの構造をそのままに、そこに量子回路の仕組みを導入した「量子畳み込みニューラルネット(QCNN)」を提案した。
https://arxiv.org/abs/1810.03787
動画
CNNが小さな複数の局所ユニットから作られているという事実。そして、入力データを階層的に処理する能力、これらが量子物理学におけるくりこみ技術と相性がよいことを示唆した。
研究者は、疑似マルチスケールエンタングルメント繰り込みと量子誤り訂正を組み合わせた。ここでは量子自体の仕組みがかなり難しく難解なため、説明を省く。
MIT脳精神機械研究所は、線虫の神経系をベースにした「リキッドニューラルネット」を考案した
https://cbmm.mit.edu/video/liquid-neural-networks
━━脳の解剖学的研究
BRAIN Initiativeでは、脳の動作原理を解明するための複数のプロジェクトが数多くの組織を跨いで同時並行で行われている。
モデル動物を選定し、昆虫脳から哺乳類脳まで段階的に解析を進めていく計画が進行中である。
それぞれ進められている研究の進捗を全て挙げるとその枚挙に暇が無いため、主に�△瞭宛�を以下に書く。
Googleは現在、アレン脳科学研究所と連携して連続切片走査型SEM法によって生まれた大量のデータを処理するためのソフトウェアを共同開発している。
2016年の時点で、Googleが管理するBrainMapのデータ量は既に1ZBに達していたという。
※ソース※
http://www.fiercebiotech.com/data-management/googl...
http://news.mynavi.jp/articles/2016/08/10/isc2016_...
アレン脳科学研究所やHHMI(Janelia)は、局所から全体まで、あらゆるスケールで神経活動を記録できる技術の開発を進めている。
局所神経細胞の活動(電位)を記録する「ニューロピクセルズ・プローブ」をimecと共同で開発
長さ10mmの針をマウスの頭蓋骨に貫通させ、約1000ヵ所の記録ポイントに挿入する。
主に、視覚刺激に対する視覚野の反応の研究を行っている。
その他、2光子カルシウムイオンイメージング法といった新しい神経活動の観察方法も進展している。
最近では、100万ニューロンの神経活動を同時に記録でき、記録できる細胞数は2010-20年の10年で数千〜1万倍に増えている。
https://www.biorxiv.org/content/10.1101/2021.02.21...
米連邦政府機関(IARPA)が進めるマウス脳解析プロジェクトは、主に視覚野を解析する。
アレン脳科学研究所でスライス生成された皮質細胞データは、プリンストン大学に送られた後に3Dデータとして再構築される。
IARPAからの資金援助を受け、アレン研究所,プリンストン大学,ハーバード大学,ベイラー大学の四者はMICrONSプロジェクトの一貫を委託されている。
MICrONSプロジェクトは、マウス一次視覚野の6層すべてと3つの高次視覚野にまたがる領域の神経回路図を作成しようとしている。
https://www.alleninstitute.org/what-we-do/brain-sc...
https://www.microns-explorer.org/cortical-mm3
2021年8月、マウス大脳皮質(視覚野)の砂粒ほどの大きさの領域に含まれる20万個以上のニューロンと、5億のニューロン同士の接続を示す3次元マップを公開した。
一方Google Brainチームは、独Max Planck神経生物学研究所とも共同研究を進めており、脳の電子顕微鏡写真から神経回路を自動検知するという研究を行っている。
http://news.mynavi.jp/articles/2017/09/11/hotchips...
http://gigazine.net/news/20180717-google-maps-brai...
https://ai.googleblog.com/2019/08/an-interactive-a...
Flood-FillingというAI(再帰型NN)を使い、画像から神経細胞を認識させ、脳神経回路を解析する技術の開発を行っている。
2018年7月、キンカチョウの一部の脳コネクトーム解析に成功。(1mm²の組織から1000テラバイト以上ものデータを生成可能)
今後、マウスの大脳皮質〜マウス脳全体へと規模を拡大し、2028年までにはコネクトームの解析を完了する計画である。
2019年8月現在、ショウジョウバエの半脳(全脳の3分の1)規模解析に成功している。(40兆ピクセル)
https://ai.googleblog.com/2019/08/an-interactive-a...
しかしニューロン単位での解析に過ぎず、シナプスの特定ができていないため、完全なコネクトームではない。グリア細胞も含まれていない。
ハワードヒューズ医学研究所(Janelia)やケンブリッジ大学らとの共同研究である。
一方、日米共同での脳神経回路マッピング研究も進められている。
米MIT,東芝,NHKが協力し、ネズミの脳(ニューロン)を8K解像度で解析する技術の開発が進められている。
https://pc.watch.impress.co.jp/docs/news/1156125.h...
東芝メモリ(キオクシア)の高速SSDとNHKの3Dビジュアライゼーションを組み合わせ、高速スキャンを可能にするとしている。
マサチューセッツ総合病院と独シーメンスは、脳を非破壊で異なるスケールに渡り高解像度でスキャンできる次世代拡散MRIを開発中である。
最大傾斜磁場強度が300mT/mに達する強力なMRI装置を設計中である。
https://reporter.nih.gov/project-details/9617538
2021年10月、アレン脳科学研究所を代表とする26に及ぶ研究チームは、マウスの脳細胞の種類と数、存在する比率、およびそれらが空間的にどのように配置されているかをカタログ化したデータと論文を公表した。
https://www.nature.com/immersive/d42859-021-00067-...
https://www.nature.com/articles/d41586-021-02493-8
細胞が発火する方法、形状、突出する場所を分類する第一歩であるといえる。主に運動皮質の分析を行った。
モデル動物を選定し、昆虫脳から哺乳類脳まで段階的に解析を進めていく計画が進行中である。
- 各種脳細胞の機能的な分類、神経伝達物質や受容体の化学的性質を同定
- シナプス＆ニューロン(ミクロ)単位から脳部位単位、脳全体(マクロ)までの神経回路地図を様々な解像度で作製
- 全神経活動の大規模モニタリング法の開発 発火パターン及び脳全体の情報伝達相互作用の追跡 電気生理学的データの蓄積
- 神経回路に対する精密な介入ツールを用いた脳活動計測と行動、精神状態、認知活動との関連づけ
- 得られたデータの蓄積技術＆分析技術の開発 新しい神経動作理論の構築
- 神経疾患を治療するための革新的な技術の開発とヒト脳ネットワークの解明
- ニューロン、接続特性を格納している遺伝子発現情報を収集 および、神経成長に関わる異常タンパク質の解明
それぞれ進められている研究の進捗を全て挙げるとその枚挙に暇が無いため、主に�△瞭宛�を以下に書く。
Googleは現在、アレン脳科学研究所と連携して連続切片走査型SEM法によって生まれた大量のデータを処理するためのソフトウェアを共同開発している。
2016年の時点で、Googleが管理するBrainMapのデータ量は既に1ZBに達していたという。
※ソース※
http://www.fiercebiotech.com/data-management/googl...
http://news.mynavi.jp/articles/2016/08/10/isc2016_...
アレン脳科学研究所やHHMI(Janelia)は、局所から全体まで、あらゆるスケールで神経活動を記録できる技術の開発を進めている。
局所神経細胞の活動(電位)を記録する「ニューロピクセルズ・プローブ」をimecと共同で開発
長さ10mmの針をマウスの頭蓋骨に貫通させ、約1000ヵ所の記録ポイントに挿入する。
主に、視覚刺激に対する視覚野の反応の研究を行っている。
その他、2光子カルシウムイオンイメージング法といった新しい神経活動の観察方法も進展している。
最近では、100万ニューロンの神経活動を同時に記録でき、記録できる細胞数は2010-20年の10年で数千〜1万倍に増えている。
https://www.biorxiv.org/content/10.1101/2021.02.21...
米連邦政府機関(IARPA)が進めるマウス脳解析プロジェクトは、主に視覚野を解析する。
アレン脳科学研究所でスライス生成された皮質細胞データは、プリンストン大学に送られた後に3Dデータとして再構築される。
IARPAからの資金援助を受け、アレン研究所,プリンストン大学,ハーバード大学,ベイラー大学の四者はMICrONSプロジェクトの一貫を委託されている。
MICrONSプロジェクトは、マウス一次視覚野の6層すべてと3つの高次視覚野にまたがる領域の神経回路図を作成しようとしている。
https://www.alleninstitute.org/what-we-do/brain-sc...
https://www.microns-explorer.org/cortical-mm3
分析作業の動画
一方Google Brainチームは、独Max Planck神経生物学研究所とも共同研究を進めており、脳の電子顕微鏡写真から神経回路を自動検知するという研究を行っている。
http://news.mynavi.jp/articles/2017/09/11/hotchips...
http://gigazine.net/news/20180717-google-maps-brai...
https://ai.googleblog.com/2019/08/an-interactive-a...
動画
2018年7月、キンカチョウの一部の脳コネクトーム解析に成功。(1mm²の組織から1000テラバイト以上ものデータを生成可能)
今後、マウスの大脳皮質〜マウス脳全体へと規模を拡大し、2028年までにはコネクトームの解析を完了する計画である。
2019年8月現在、ショウジョウバエの半脳(全脳の3分の1)規模解析に成功している。(40兆ピクセル)
https://ai.googleblog.com/2019/08/an-interactive-a...
しかしニューロン単位での解析に過ぎず、シナプスの特定ができていないため、完全なコネクトームではない。グリア細胞も含まれていない。
ハワードヒューズ医学研究所(Janelia)やケンブリッジ大学らとの共同研究である。
動画
一方、日米共同での脳神経回路マッピング研究も進められている。
米MIT,東芝,NHKが協力し、ネズミの脳(ニューロン)を8K解像度で解析する技術の開発が進められている。
https://pc.watch.impress.co.jp/docs/news/1156125.h...
東芝メモリ(キオクシア)の高速SSDとNHKの3Dビジュアライゼーションを組み合わせ、高速スキャンを可能にするとしている。
マサチューセッツ総合病院と独シーメンスは、脳を非破壊で異なるスケールに渡り高解像度でスキャンできる次世代拡散MRIを開発中である。
最大傾斜磁場強度が300mT/mに達する強力なMRI装置を設計中である。
https://reporter.nih.gov/project-details/9617538
2021年10月、アレン脳科学研究所を代表とする26に及ぶ研究チームは、マウスの脳細胞の種類と数、存在する比率、およびそれらが空間的にどのように配置されているかをカタログ化したデータと論文を公表した。
https://www.nature.com/immersive/d42859-021-00067-...
https://www.nature.com/articles/d41586-021-02493-8
細胞が発火する方法、形状、突出する場所を分類する第一歩であるといえる。主に運動皮質の分析を行った。
━━計算ハードウェア
米IT企業各社は、AIの学習処理&推論処理を爆速化させるため、以下の次世代計算機を開発している。
旧世代のTPU3.0チップと比べて2倍以上の性能向上である。
このプロセッサは、グラフ畳み込みニューラルネットと強化学習(方策勾配法最適化)を用いて配線とチップの配置を自動設計させたものである。人の手ではフロアプランを完成させるのに数ヶ月かかったのに対し、AIは6時間以内に完了しただけでなく、
消費電力、性能、チップ面積などあらゆる指標で、人による設計解と同等もしくは上回っていた。※製造プロセスも微細化されている
Googleは、このTPUチップを4096個使用したAI専用スパコンを構築し、全ポッドで半精度毎秒1エクサフロップスの処理速度を達成した。
Google Cloud Platform上とColabの計算資源として、TPU4.0は24時間稼働している。機械学習の研究そのものにおいても利用されている。
https://gigazine.net/news/20210519-google-4th-tens...
NVIDIAは、GPUをAIや機械学習の処理に活用している。GTC2022にて、800億のトランジスタを搭載した次世代データセンタ向けGPU「NVIDIA H100」を発表。
次世代アーキテクチャ「NVIDIA Hopper」を採用し、TSMCの4nmプロセスを採用している。またこのH100を搭載したスパコン向けラック「DGX」を連結したDGX PODを構築可能としている。
https://www.nvidia.com/ja-jp/data-center/h100/
NVIDIAのGPUは、Microsoftのクラウド環境Azureで導入されている。NVIDIAはMicrosoftと共同で大規模なAI専用スパコンを構築しようとしている。
NVIDIAは、ロボット用の仮想学習環境、シミュレーターにGPUを活用している。
2022年5月、NVIDIAは量子ゲート回路を、GPUと「テンソルネットワーク法」を用いてシミュレートできるライブラリ「cuQuantum」をリリースした。
今のところ5000量子ゲート程度の回路まで計算できるという。量子アルゴリズムの研究でQCWARE社と提携し、実機ではXanaduと提携、量子回路プログラムフレームワークとしてGoogleのCirqを採用する。
https://developer.nvidia.com/cuquantum-sdk
米国Cerebras社は、20cm×22cmの面積に2.6兆個のトランジスタ(85万コア)を搭載した超大型チップ「Wafer Scale Engine 2」を開発した。
NVIDIA等のGPU企業は、近年巨大化するニューラルネットの学習に対し、広帯域連結させてワークロードの増大に対応している。しかし、チップ同士の接続は性能や電力の面で効率が悪くなる。
そこでCerebrasは、数十個のGPUに相当するチップを1個のチップとして製造しようというアイデアを採用した。
https://cerebras.net/product-chip/
米国エネルギー省の研究機関は、Cerebras社のチップとポッドを購入し、スパコンに連結させて運用しているという。
2022年11月、WSE-2を搭載した16台のCerebras CS-2システムを構築し、半精度で毎秒1エクサを超える演算速度を達成できるAI専用スパコン「Andromeda」を、アルゴンヌ国立研究所と共同で設置した。
このスパコンは、Transformer系統の大規模言語モデルの大量処理に対応する。
現在、米アルゴンヌ国立研究所はTransformer系大規模言語モデルとAndromedaを活用して、新型コロナウイルスの遺伝子情報の解読を進めている。
3万塩基または1万個のコドンの配列を持つ”SARS-CoV-2”の進化動態を明らかにする「ゲノムスケール言語モデル(GenSLM)」を開発した。
https://www.cerebras.net/blog/genomics-in-unparall...
コドン配列の解読に合わせて、近年では生物学の進歩が急加速している。NVIDIAはDGXクラウドを構築し
タンパク質の立体構造予測、化合物の自動生成、薬剤分子ドッキングシミュレーションなどの生化学開発プランを統合実行できるプラットフォームを研究機関に提供する。
──────────────────────────────────────────────────────────────────────────────────────────────────────────
Googleは、量子ゲート方式の量子コンピューターの開発を進めている。
53量子ビットの「Sycamore」と呼ばれる量子ゲートチップを作り、実証したとみられる。
超伝導材料を用いた電子回路上で、ジョセフソン接合というトンネル接合素子を用いて量子重ね合わせ状態をとることが可能な「量子ビット」を実現する。
論文も公開されている
量子ビットの「0と1」を表すエネルギー差のスケールが小さいため、希釈冷凍機の中で極低温（約-273℃）まで冷却して、熱雑音を抑えている。
Google量子AI研究所の公式見解では、量子ビットを100万個搭載して且つエラー訂正可能な「万能量子コンピュータ」を2029年にも構築可能との見方を示している。
2019年、Google量子AI研究所の技術責任者であるハルトムート・ネーヴン氏は、量子コンピューティング能力が二重指数関数(2の冪)で進化するという「ネーヴンの法則」を唱え始めている。
現時点では、量子コンピューターはスパコンに不可能な多くの領域において有益な成果を出せていない。この原因として挙げられるのは
※Google量子AI研究所(Google Quantum A.I.Lab)に所属するジョン・マルティネス教授の見解※
https://business.nikkei.com/atcl/report/15/0617000...
https://tech.nikkeibp.co.jp/atcl/nxt/column/18/004...
※量子超越性達成の報道※
https://www.ft.com/content/b9bb4e54-dbc1-11e9-8f9b...
米Amazonは、カナダに研究拠点を置くXanaduと提携し、光量子コンピューター専用の量子アルゴリズムを開発中である。
─────────────────────────────────────────────────────────────────────────────────────────────────────────
その他、脳型ニューロモーフィック・チップと呼ばれる種類のプロセッサも開発が進んでいる。
IBM Reserchに所属するDharmendra Modha氏が、DARPAが進める「SyNAPSE計画」から資金援助を受け、脳の構造をそのままハードウェアに実装するという研究を行っている。
2011年8月に、最初の試作チップが発表された。ミミズの脳に匹敵する規模のニューロン数とシナプス数が実装されている。
2014年8月8日には、第二世代のチップ「TrueNorth」が発表されている。100万ニューロンと2億5600万を超えるシナプス接続を達成した。
2023年10月20日、後継となる「NorthPole」を発表した。TrueNorthと比較して4000倍高速な画像認識推論を実行できるとされる。
https://research.ibm.com/blog/northpole-ibm-ai-chi...
2016年、米ローレンス・リバモア国立研究所がTrueNorthチップで構成されたスパコンシステムをIBMから購入し、研究に利用すると公表。
翌年2017年には、米空軍研究所(AFRL)もIBMからTrueNorthシステムを購入したと公表している。
DARPAはこのほかにも、大脳新皮質の計算原理をモデル化したHTM構造の処理に特化した脳型プロセッサを開発中である。
- TPU , GPU , WSE-2
- 超電導量子コンピュータ,量子ゲートシミュレータ,光量子
- 脳型ニューロモーフィック・チップ
旧世代のTPU3.0チップと比べて2倍以上の性能向上である。
このプロセッサは、グラフ畳み込みニューラルネットと強化学習(方策勾配法最適化)を用いて配線とチップの配置を自動設計させたものである。人の手ではフロアプランを完成させるのに数ヶ月かかったのに対し、AIは6時間以内に完了しただけでなく、
消費電力、性能、チップ面積などあらゆる指標で、人による設計解と同等もしくは上回っていた。※製造プロセスも微細化されている
Googleは、このTPUチップを4096個使用したAI専用スパコンを構築し、全ポッドで半精度毎秒1エクサフロップスの処理速度を達成した。
Google Cloud Platform上とColabの計算資源として、TPU4.0は24時間稼働している。機械学習の研究そのものにおいても利用されている。
https://gigazine.net/news/20210519-google-4th-tens...
NVIDIAは、GPUをAIや機械学習の処理に活用している。GTC2022にて、800億のトランジスタを搭載した次世代データセンタ向けGPU「NVIDIA H100」を発表。
次世代アーキテクチャ「NVIDIA Hopper」を採用し、TSMCの4nmプロセスを採用している。またこのH100を搭載したスパコン向けラック「DGX」を連結したDGX PODを構築可能としている。
https://www.nvidia.com/ja-jp/data-center/h100/
NVIDIAのGPUは、Microsoftのクラウド環境Azureで導入されている。NVIDIAはMicrosoftと共同で大規模なAI専用スパコンを構築しようとしている。
NVIDIAは、ロボット用の仮想学習環境、シミュレーターにGPUを活用している。
2022年5月、NVIDIAは量子ゲート回路を、GPUと「テンソルネットワーク法」を用いてシミュレートできるライブラリ「cuQuantum」をリリースした。
今のところ5000量子ゲート程度の回路まで計算できるという。量子アルゴリズムの研究でQCWARE社と提携し、実機ではXanaduと提携、量子回路プログラムフレームワークとしてGoogleのCirqを採用する。
https://developer.nvidia.com/cuquantum-sdk
米国Cerebras社は、20cm×22cmの面積に2.6兆個のトランジスタ(85万コア)を搭載した超大型チップ「Wafer Scale Engine 2」を開発した。
NVIDIA等のGPU企業は、近年巨大化するニューラルネットの学習に対し、広帯域連結させてワークロードの増大に対応している。しかし、チップ同士の接続は性能や電力の面で効率が悪くなる。
そこでCerebrasは、数十個のGPUに相当するチップを1個のチップとして製造しようというアイデアを採用した。
https://cerebras.net/product-chip/
米国エネルギー省の研究機関は、Cerebras社のチップとポッドを購入し、スパコンに連結させて運用しているという。
2022年11月、WSE-2を搭載した16台のCerebras CS-2システムを構築し、半精度で毎秒1エクサを超える演算速度を達成できるAI専用スパコン「Andromeda」を、アルゴンヌ国立研究所と共同で設置した。
このスパコンは、Transformer系統の大規模言語モデルの大量処理に対応する。
現在、米アルゴンヌ国立研究所はTransformer系大規模言語モデルとAndromedaを活用して、新型コロナウイルスの遺伝子情報の解読を進めている。
3万塩基または1万個のコドンの配列を持つ”SARS-CoV-2”の進化動態を明らかにする「ゲノムスケール言語モデル(GenSLM)」を開発した。
https://www.cerebras.net/blog/genomics-in-unparall...
コドン配列の解読に合わせて、近年では生物学の進歩が急加速している。NVIDIAはDGXクラウドを構築し
タンパク質の立体構造予測、化合物の自動生成、薬剤分子ドッキングシミュレーションなどの生化学開発プランを統合実行できるプラットフォームを研究機関に提供する。
──────────────────────────────────────────────────────────────────────────────────────────────────────────
Googleは、量子ゲート方式の量子コンピューターの開発を進めている。
53量子ビットの「Sycamore」と呼ばれる量子ゲートチップを作り、実証したとみられる。
超伝導材料を用いた電子回路上で、ジョセフソン接合というトンネル接合素子を用いて量子重ね合わせ状態をとることが可能な「量子ビット」を実現する。
論文も公開されている
量子ビットの「0と1」を表すエネルギー差のスケールが小さいため、希釈冷凍機の中で極低温（約-273℃）まで冷却して、熱雑音を抑えている。
Google量子AI研究所の公式見解では、量子ビットを100万個搭載して且つエラー訂正可能な「万能量子コンピュータ」を2029年にも構築可能との見方を示している。
2019年、Google量子AI研究所の技術責任者であるハルトムート・ネーヴン氏は、量子コンピューティング能力が二重指数関数(2の冪)で進化するという「ネーヴンの法則」を唱え始めている。
現時点では、量子コンピューターはスパコンに不可能な多くの領域において有益な成果を出せていない。この原因として挙げられるのは
- キュービットの数が足りていない
- ノイズと呼ぶ環境内の微細な摂動によって、システムが簡単に乱されてしまう
※Google量子AI研究所(Google Quantum A.I.Lab)に所属するジョン・マルティネス教授の見解※
https://business.nikkei.com/atcl/report/15/0617000...
https://tech.nikkeibp.co.jp/atcl/nxt/column/18/004...
※量子超越性達成の報道※
https://www.ft.com/content/b9bb4e54-dbc1-11e9-8f9b...
米Amazonは、カナダに研究拠点を置くXanaduと提携し、光量子コンピューター専用の量子アルゴリズムを開発中である。
─────────────────────────────────────────────────────────────────────────────────────────────────────────
その他、脳型ニューロモーフィック・チップと呼ばれる種類のプロセッサも開発が進んでいる。
IBM Reserchに所属するDharmendra Modha氏が、DARPAが進める「SyNAPSE計画」から資金援助を受け、脳の構造をそのままハードウェアに実装するという研究を行っている。
2011年8月に、最初の試作チップが発表された。ミミズの脳に匹敵する規模のニューロン数とシナプス数が実装されている。
2014年8月8日には、第二世代のチップ「TrueNorth」が発表されている。100万ニューロンと2億5600万を超えるシナプス接続を達成した。
2023年10月20日、後継となる「NorthPole」を発表した。TrueNorthと比較して4000倍高速な画像認識推論を実行できるとされる。
https://research.ibm.com/blog/northpole-ibm-ai-chi...
2016年、米ローレンス・リバモア国立研究所がTrueNorthチップで構成されたスパコンシステムをIBMから購入し、研究に利用すると公表。
翌年2017年には、米空軍研究所(AFRL)もIBMからTrueNorthシステムを購入したと公表している。
DARPAはこのほかにも、大脳新皮質の計算原理をモデル化したHTM構造の処理に特化した脳型プロセッサを開発中である。
━━トランプ前政権,バイデン政権(米国連邦政府)の科学技術政策
2019年3月、トランプ政権は2019年度における米国立衛生研究所(NIH)の財政予算を393億ドルに拡充した。
前年度比、およそ22億ドルの増加である。
https://www.hhs.gov/sites/default/files/fy-2019-bu...
2020年度の予算概要については343億ドルを要求している。
2019年現在、トランプ政権はエクサ級スパコンにおける2020年度予算概要(DOE)について、8億1000万ドルを議会へ要求している。
https://www.jst.go.jp/crds/pdf/2019/FU/US20190514....
2018年5月10日、米ホワイトハウスでの官民合同会合において、マイケル・クラチオス大統領副補佐官は、
「ＡＩ開発に可能な限り最大限の自由度を与える」と表明。
それに併せて、『人工知能に関する国家安全保障委員会(NSCAI)』を設置するとした。
委員会の会長としてAlphabet取締役のエリックシュミット氏が就任する。
https://www.sankeibiz.jp/macro/news/180512/mcb1805...
2018年6月27日、米国防総省(ペンタゴン)は『人工知能センター[Joint Artificial Intelligence Center]』の設立を発表。
JAICの責任者として米空軍研究所のジャック・シャナハン中将が就任する。
https://admin.govexec.com/media/establishment_of_t...
センターの設立後間もなくして、ペンタゴン所管のDARPAは今後5年間で最大20億ドルを次世代人工知能研究に投資すると公表した
DARPA AI Next Campaign
2018年12月、米国上院において10年間に及ぶ『国家量子イニシアチブ(NQI)法案』が可決された。
トランプ大統領の署名によって、正式に法律として適用される予定である。
5年間で約12億ドルを国家研究機関へ支出する。(DOE,NIST,NASA,NSF)
https://www.datacenterdynamics.com/news/us-senate-...
https://www.whitehouse.gov/wp-content/uploads/2018...
2019年2月11日、トランプ大統領はAI施策指針の大統領令に署名し、『National Artificial Intelligence INITIATIVE』の発足を発表。
具体的な政策内容としては、
・AI研究への積極的な投資
・民間企業への政府ビッグデータ提供
・AI人材育成 等である。
https://www.whitehouse.gov/articles/accelerating-a...
これを受けて米国防総省は、『国防ＡＩ戦略』を公表。
昨年設置したJAICの権限強化や軍事AI開発への莫大な投資など、米国の優位性を保つ指針を挙げている。
http://airforcemag.com/Features/Documents/SUMMARY-...
米国政府は、当時オバマ政権下だった2016年10月に発表した「米国人工知能研究開発戦略計画(National AI R&D Strategic Plan)」を、2019年6月に最新版へ更新した。
https://www.nitrd.gov/pubs/National-AI-RD-Strategy...
この計画書は、大統領府の国家科学技術会議（NSTC）の人工知能特別委員会（SCAI）が作成している。
2021年10月05日、NSCAIのエリックシュミット氏は、人工知能やその他の新技術における米国の能力を強化する国家イニシアチブ
「Special Competitive Studies Project(SCSP)」を開始した。
https://www.scsp.ai/press
急速に技術革新が進む中国のAI技術、軍事AIに対抗するために発足したという。
前年度比、およそ22億ドルの増加である。
https://www.hhs.gov/sites/default/files/fy-2019-bu...
2020年度の予算概要については343億ドルを要求している。
2019年現在、トランプ政権はエクサ級スパコンにおける2020年度予算概要(DOE)について、8億1000万ドルを議会へ要求している。
https://www.jst.go.jp/crds/pdf/2019/FU/US20190514....
2018年5月10日、米ホワイトハウスでの官民合同会合において、マイケル・クラチオス大統領副補佐官は、
「ＡＩ開発に可能な限り最大限の自由度を与える」と表明。
それに併せて、『人工知能に関する国家安全保障委員会(NSCAI)』を設置するとした。
委員会の会長としてAlphabet取締役のエリックシュミット氏が就任する。
https://www.sankeibiz.jp/macro/news/180512/mcb1805...
2018年6月27日、米国防総省(ペンタゴン)は『人工知能センター[Joint Artificial Intelligence Center]』の設立を発表。
JAICの責任者として米空軍研究所のジャック・シャナハン中将が就任する。
https://admin.govexec.com/media/establishment_of_t...
センターの設立後間もなくして、ペンタゴン所管のDARPAは今後5年間で最大20億ドルを次世代人工知能研究に投資すると公表した
DARPA AI Next Campaign
2018年12月、米国上院において10年間に及ぶ『国家量子イニシアチブ(NQI)法案』が可決された。
トランプ大統領の署名によって、正式に法律として適用される予定である。
5年間で約12億ドルを国家研究機関へ支出する。(DOE,NIST,NASA,NSF)
https://www.datacenterdynamics.com/news/us-senate-...
https://www.whitehouse.gov/wp-content/uploads/2018...
2019年2月11日、トランプ大統領はAI施策指針の大統領令に署名し、『National Artificial Intelligence INITIATIVE』の発足を発表。
具体的な政策内容としては、
・AI研究への積極的な投資
・民間企業への政府ビッグデータ提供
・AI人材育成 等である。
https://www.whitehouse.gov/articles/accelerating-a...
これを受けて米国防総省は、『国防ＡＩ戦略』を公表。
昨年設置したJAICの権限強化や軍事AI開発への莫大な投資など、米国の優位性を保つ指針を挙げている。
http://airforcemag.com/Features/Documents/SUMMARY-...
米国政府は、当時オバマ政権下だった2016年10月に発表した「米国人工知能研究開発戦略計画(National AI R&D Strategic Plan)」を、2019年6月に最新版へ更新した。
https://www.nitrd.gov/pubs/National-AI-RD-Strategy...
この計画書は、大統領府の国家科学技術会議（NSTC）の人工知能特別委員会（SCAI）が作成している。
2021年10月05日、NSCAIのエリックシュミット氏は、人工知能やその他の新技術における米国の能力を強化する国家イニシアチブ
「Special Competitive Studies Project(SCSP)」を開始した。
https://www.scsp.ai/press
急速に技術革新が進む中国のAI技術、軍事AIに対抗するために発足したという。
━━ピーターティール
決済サービス大手PayPalの創業に携わったピーターティールは前トランプ陣営の「大統領戦略・政策フォーラム」に所属した経歴があり、トランプにIT政策を助言する側近として機能していた。
彼は投資家である。DeepMindやOpenAI,Vicariousへ多額の出資を行ったりと、シンギュラリティの概念に肯定的な人物である。2006年、レイカーツワイルらと共に米スタンフォード大学主催の「シンギュラリティサミット」を発足した。
NSAやCIA,DIA等の政府情報機関に高速データマイニングソフトを提供するPalantir Technologiesの立ち上げにも関わった。
Palantirのソフトは、組織内に散らばっている異なる種類のデータを統合的に整理し、重要なデータを抽出,分類し、重回帰分析やナレッジグラフ等を使って隠れている有用なデータを発見することができる。配送計画や工場設備の最適化、行動の追跡等に利用されている。また大量の知識やわかりにくい実験データを、ダイナミックオントロジーによってエンドユーザーが理解しやすい言葉に変換する。利用者が知りたい情報を短時間で見つけ出して解析できる。
2018年2月、ティール氏はスタンフォード大学での対談で「人工知能技術は共産主義的である」と発言している。
https://www.technologyreview.jp/nl/crypto-is-decen...
2019年3月21日、トランプ政権はティール氏の投資会社「Thiel Capital」の主任スタッフであるマイケル・クラチオス氏を、CTO(合衆国最高技術責任者)に任命した。
ホワイトハウス科学技術政策局の指揮をしていた。
https://jp.techcrunch.com/2019/03/22/2019-03-21-mi...
米国防総省は、「統合全領域指揮統制（JADC2）」と呼ばれる次世代軍事ネットワークを構築するため、パランティアやマイクロソフトのクラウド技術を採用する。
https://www.nikkei.com/article/DGXZQOCB1339P0T10C2...
米空軍、米陸軍、米海兵隊、米海軍、米宇宙軍などのすべての軍種のセンサーを1つのネットワークに接続し、AIを用いて敵国の行動予測、偵察活動の自動化や戦闘地域からのリアルタイム情報伝達を可能にする。
具体的には、F-35やXQ-58A、MQ-9などの空軍戦闘偵察機、B21等の無人爆撃機、陸軍の対空ミサイル防衛システム、ドローン検知システム、地上のロボット兵、無人巡視船等をネットワークに接続する。
XQ-58A等の無人機には、Heron Systems社の戦闘AIシステムを実装する予定である。
2022年11月、米パランティアはロッキードマーティンと協業することを発表した。米海軍のシステム刷新に向けて作業を進める。
ピーターティールは、「情報技術以外の科学技術が停滞している」という考えを表明しており、停滞を回避するために、政府の規制緩和を実現するため働きかけている。
2022年6月、PalantirはGoogle Cloudと提携したことを共同発表した。 https://cloud.google.com/blog/topics/partners/goog...
産業向けのPalantir Foundryという製品をGoogle Cloud上で提供できるようになる。法人向けの在庫管理分析システムや資金洗浄検知システム、運輸販売サプライチェーン最適化、電力需要予測、サイバーセキュリティなどのサービスが高度化される。GCPのRecommendations AIやBigQuery，機械学習といったデータ分析プロダクトと連携する。
2023年1月、PalantirはMicrosoftと提携し、Azure上でPalantir Foundryを提供できるようにしたことを発表した。Azure cognitive searchやAzure Data Lake, Azure Synapse Analyticsなどの法人向けデータ分析プロダクトと連携する。
彼は投資家である。DeepMindやOpenAI,Vicariousへ多額の出資を行ったりと、シンギュラリティの概念に肯定的な人物である。2006年、レイカーツワイルらと共に米スタンフォード大学主催の「シンギュラリティサミット」を発足した。
NSAやCIA,DIA等の政府情報機関に高速データマイニングソフトを提供するPalantir Technologiesの立ち上げにも関わった。
Palantirのソフトは、組織内に散らばっている異なる種類のデータを統合的に整理し、重要なデータを抽出,分類し、重回帰分析やナレッジグラフ等を使って隠れている有用なデータを発見することができる。配送計画や工場設備の最適化、行動の追跡等に利用されている。また大量の知識やわかりにくい実験データを、ダイナミックオントロジーによってエンドユーザーが理解しやすい言葉に変換する。利用者が知りたい情報を短時間で見つけ出して解析できる。
動画
https://www.technologyreview.jp/nl/crypto-is-decen...
2019年3月21日、トランプ政権はティール氏の投資会社「Thiel Capital」の主任スタッフであるマイケル・クラチオス氏を、CTO(合衆国最高技術責任者)に任命した。
ホワイトハウス科学技術政策局の指揮をしていた。
https://jp.techcrunch.com/2019/03/22/2019-03-21-mi...
米国防総省は、「統合全領域指揮統制（JADC2）」と呼ばれる次世代軍事ネットワークを構築するため、パランティアやマイクロソフトのクラウド技術を採用する。
https://www.nikkei.com/article/DGXZQOCB1339P0T10C2...
米空軍、米陸軍、米海兵隊、米海軍、米宇宙軍などのすべての軍種のセンサーを1つのネットワークに接続し、AIを用いて敵国の行動予測、偵察活動の自動化や戦闘地域からのリアルタイム情報伝達を可能にする。
具体的には、F-35やXQ-58A、MQ-9などの空軍戦闘偵察機、B21等の無人爆撃機、陸軍の対空ミサイル防衛システム、ドローン検知システム、地上のロボット兵、無人巡視船等をネットワークに接続する。
XQ-58A等の無人機には、Heron Systems社の戦闘AIシステムを実装する予定である。
動画
ピーターティールは、「情報技術以外の科学技術が停滞している」という考えを表明しており、停滞を回避するために、政府の規制緩和を実現するため働きかけている。
2022年6月、PalantirはGoogle Cloudと提携したことを共同発表した。 https://cloud.google.com/blog/topics/partners/goog...
産業向けのPalantir Foundryという製品をGoogle Cloud上で提供できるようになる。法人向けの在庫管理分析システムや資金洗浄検知システム、運輸販売サプライチェーン最適化、電力需要予測、サイバーセキュリティなどのサービスが高度化される。GCPのRecommendations AIやBigQuery，機械学習といったデータ分析プロダクトと連携する。
2023年1月、PalantirはMicrosoftと提携し、Azure上でPalantir Foundryを提供できるようにしたことを発表した。Azure cognitive searchやAzure Data Lake, Azure Synapse Analyticsなどの法人向けデータ分析プロダクトと連携する。
━━スーパーコンピュータ
2015年にオバマ前大統領がスパコン推進プロジェクト『国家戦略コンピューティングイニシアチブ(NSCI*³)』を発表。
米エネルギー省が主導し、2021年までに全ラックで1ExaFlops/sを達成できるエクサ級スパコンを完成させる計画である。
Exascale Computing Project
*³National Strategic Computing Initiativeの略
AMD、Cray、HPE、IBM、Intel、NVIDIAの計6社に米エネルギー省が資金援助し、開発を委託している。
アルゴンヌ国立研究所及びオークリッジ国立研究所、ローレンスリバモア国立研究所にそれぞれ一台、計3台のシステムが構築される予定である。
特にアルゴンヌに構築されるAuroraシステムは、脳神経細胞の自動追跡やマウス脳神経モデルのシミュレーション等に利用される予定である。
https://japan.zdnet.com/article/35068282/
https://japan.cnet.com/article/35102906/
https://news.mynavi.jp/article/20170130-sisa_ecp/
https://www.exascaleproject.org/wp-content/uploads...
2022年5月、米AMDと米Crayは次世代スパコン「Frontier」をオークリッジ国立研究所へ納入した。計算速度ランキングのTop500では1位を獲得している。
21.1MWの電力で1.102 Linpack ExaFlopsを実現し、1Wあたり52.23GFLOPSの効率を達成した。Frontierには、AMD社の第3世代EPYC(3D V-Cache搭載カスタム版)のCPUを採用している。
GPUとして、「Radeon Instinct MI200」を導入する。このGPUでは蘭ASMLの極端紫外線(EUV)露光装置を利用して製造したTSMCの6nmプロセスを採用する。AMDとしては初のEUV露光を利用した製品となる。主要なHPCアプリで、“NVIDIA A100”の2倍以上の性能を実現する。
https://www.hpcwire.jp/archives/60992
米Intelと米Crayは2023年下旬までに次世代スパコン「Aurora」をアルゴンヌ国立研究所へ納入すると発表した。
2020年現在、Intelの製造工程で技術的問題が発生しており、Auroraの稼働が遅れている。Intelは、高度な2.5Dパッケージング技術と3Dスタッキング、FinFET構造といった最新技術を採用した「Ponte Vecchio」と呼ばれるGPUを6つ搭載したブレードサーバーに採用
またSapphire Rapidsこと「第4世代Xeon Scalable Processors」というCPUを2つブレードサーバーに採用した。このCPUには新たなマイクロアーキテクチャが導入され、10nmプロセスで設計される。
https://news.mynavi.jp/techplus/article/20210902-1...
2020年3月、米AMDと米HPEは2023年までにエクサスパコン「El Capitan」をローレンスリバモア国立研究所へ納入すると発表した。
https://pc.watch.impress.co.jp/docs/news/1239000.h...
ローレンス・リバモア国立研究所は2010年から「MFEM」と呼ばれる独自の計算フレームワークを開発し公開している。
これにより科学者が物理シミュレーションを行う際に必要なコードを書くプロセスを簡略化できるとしている。さらにリバモア研は、AIや機械学習技術とMFEMを組み合わせた「CoqSim」と呼ばれるアプローチも開発し、実験によって収集された膨大な量のデータを学習させ、過去の実験データに基づいて独自のモデルを組み込み、さまざまな実験の成功確率を予測することができるシステムを構築している。
これらを用いて核融合点火実験の予測や分析、感染症の予測、化合物のシミュレーションなどの分析が向上している。
2018年以降、Intelのシリコンエンジニアリング部門上級副社長を務めたマイクロアーキテクチャデザイナーであるジムケラー氏は、講演で「ムーアの法則はまだ死んでいない」と発言した。
まだ微細化に伴うトランジスタ形状には改善の余地があると主張している。また機能ブロックなどの物理的な構成、命令の実行制御の方式などを変更することで電力効率の面で改良できると主張している。
加えてIntelはIBM Reserchとも共同研究協定を結び、次世代の半導体を実現する2nm以下のゲート幅のトランジスタを、ナノシートの形でケーキの層のように積み重ねる手法として確立したIBMの技術を利用することを計画している。
指の爪サイズ(150平方mm)のウェーハに500億個ものトランジスタを収めることが可能になる技術である。しかし米国は大量製造技術で台湾やオランダに出遅れているため、サムスンやラピダスと共同で製造技術を確立させる。
米エネルギー省が主導し、2021年までに全ラックで1ExaFlops/sを達成できるエクサ級スパコンを完成させる計画である。
Exascale Computing Project
*³National Strategic Computing Initiativeの略
AMD、Cray、HPE、IBM、Intel、NVIDIAの計6社に米エネルギー省が資金援助し、開発を委託している。
アルゴンヌ国立研究所及びオークリッジ国立研究所、ローレンスリバモア国立研究所にそれぞれ一台、計3台のシステムが構築される予定である。
特にアルゴンヌに構築されるAuroraシステムは、脳神経細胞の自動追跡やマウス脳神経モデルのシミュレーション等に利用される予定である。
https://japan.zdnet.com/article/35068282/
https://japan.cnet.com/article/35102906/
https://news.mynavi.jp/article/20170130-sisa_ecp/
https://www.exascaleproject.org/wp-content/uploads...
2022年5月、米AMDと米Crayは次世代スパコン「Frontier」をオークリッジ国立研究所へ納入した。計算速度ランキングのTop500では1位を獲得している。
21.1MWの電力で1.102 Linpack ExaFlopsを実現し、1Wあたり52.23GFLOPSの効率を達成した。Frontierには、AMD社の第3世代EPYC(3D V-Cache搭載カスタム版)のCPUを採用している。
GPUとして、「Radeon Instinct MI200」を導入する。このGPUでは蘭ASMLの極端紫外線(EUV)露光装置を利用して製造したTSMCの6nmプロセスを採用する。AMDとしては初のEUV露光を利用した製品となる。主要なHPCアプリで、“NVIDIA A100”の2倍以上の性能を実現する。
https://www.hpcwire.jp/archives/60992
米Intelと米Crayは2023年下旬までに次世代スパコン「Aurora」をアルゴンヌ国立研究所へ納入すると発表した。
2020年現在、Intelの製造工程で技術的問題が発生しており、Auroraの稼働が遅れている。Intelは、高度な2.5Dパッケージング技術と3Dスタッキング、FinFET構造といった最新技術を採用した「Ponte Vecchio」と呼ばれるGPUを6つ搭載したブレードサーバーに採用
またSapphire Rapidsこと「第4世代Xeon Scalable Processors」というCPUを2つブレードサーバーに採用した。このCPUには新たなマイクロアーキテクチャが導入され、10nmプロセスで設計される。
https://news.mynavi.jp/techplus/article/20210902-1...
2020年3月、米AMDと米HPEは2023年までにエクサスパコン「El Capitan」をローレンスリバモア国立研究所へ納入すると発表した。
https://pc.watch.impress.co.jp/docs/news/1239000.h...
ローレンス・リバモア国立研究所は2010年から「MFEM」と呼ばれる独自の計算フレームワークを開発し公開している。
これにより科学者が物理シミュレーションを行う際に必要なコードを書くプロセスを簡略化できるとしている。さらにリバモア研は、AIや機械学習技術とMFEMを組み合わせた「CoqSim」と呼ばれるアプローチも開発し、実験によって収集された膨大な量のデータを学習させ、過去の実験データに基づいて独自のモデルを組み込み、さまざまな実験の成功確率を予測することができるシステムを構築している。
これらを用いて核融合点火実験の予測や分析、感染症の予測、化合物のシミュレーションなどの分析が向上している。
2018年以降、Intelのシリコンエンジニアリング部門上級副社長を務めたマイクロアーキテクチャデザイナーであるジムケラー氏は、講演で「ムーアの法則はまだ死んでいない」と発言した。
まだ微細化に伴うトランジスタ形状には改善の余地があると主張している。また機能ブロックなどの物理的な構成、命令の実行制御の方式などを変更することで電力効率の面で改良できると主張している。
GPU,TPUのアーキテクチャの違いについて説明するジムケラー
指の爪サイズ(150平方mm)のウェーハに500億個ものトランジスタを収めることが可能になる技術である。しかし米国は大量製造技術で台湾やオランダに出遅れているため、サムスンやラピダスと共同で製造技術を確立させる。
✦BRAIN Initiativeのロードマップ✦
2016〜2020年：脳介入ツールの開発〈フェーズ1〉
2021〜2025年：新ツールを使用した研究〈フェーズ2〉
⇦NIHから支出されるBRAIN Initiative予算の推移グラフ
カーツワイル氏は、AGIが2029年に誕生する旨を予想しているため、脳研究の知見がAI開発に適応される時期は2025〜2029年と推測される
2021〜2025年：新ツールを使用した研究〈フェーズ2〉
⇦NIHから支出されるBRAIN Initiative予算の推移グラフカーツワイル氏は、AGIが2029年に誕生する旨を予想しているため、脳研究の知見がAI開発に適応される時期は2025〜2029年と推測される
あとがき
備考
米国におけるAI研究動向 AI研究動向 AI研究 最新研究 人工知能 最新研究 人工智能 AI Research アメリカ AI Artificial Intelligence AGI AI開発 人工知能開発 人工知能研究 人工知能の最前線 AI開発最前線 最新のAI研究 エクサスケールスーパーコンピュータ 機械学習 USA artificial general intelligence research trend 2022/06/17 パラメータ推定 統計物理
深層ニューラルネット 線形変換 非線形活性化関数 シグモイド関数 損失関数の最小化 確率的勾配降下法 最適化 ベクトルに変換
行列 条件分岐 情報フロー 枝切り 量子化 誤差逆伝播 ロジスティックス回帰 線形回帰 ベイズ推定 k平均 遺伝的アルゴリズム 多次元行列 パーセプトロン モンテカルロ木探索 最小二乗法 主成分分析
回帰分析
※このまとめは『Alph496』が書いています
※誰でも編集可能な状態です。情報の追加、誤字誤文の訂正に協力を。
アンケートを実施中です。
日本の研究動向
中国の研究動向
タグ