TOPページ
|
英語
日本語
|
CONNECT WITH US:
ホーム
JCNについて
サービス
お問い合わせ
会員企業ログイン
ホーム
プレスリリース
2023年05月22日 15時00分
Source:
Fujitsu Ltd
東工大・東北大・富士通・理研、スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発について
東京, 2023年05月22日 - (JCN Newswire) - 国立大学法人東京工業大学(注1)(以下、東京工業大学)、国立大学法人東北大学(注2)(以下、東北大学)、富士通株式会社(注3)(以下、富士通)、国立研究開発法人理化学研究所(注4)(以下、理化学研究所)は、「富岳」政策対応枠において、スーパーコンピュータ「富岳」を活用した大規模言語モデル(Large Language Model, LLM)(注5)の分散並列学習手法の研究開発を2023年5月から実施します。
大規模言語モデルは、ChatGPT(注6)をはじめとする生成AIの中核として使用されている深層学習のAIモデルであり、4者は今後今回の研究開発の成果物を公開することで、アカデミアや企業が幅広く使える大規模言語モデルの構築環境を整え、国内におけるAIの研究力向上に貢献し、学術および産業の両面で「富岳」の活用価値を高めることを目指します。
背景
ChatGPTに代表される大規模深層学習モデル(基盤モデル)は、インターネットやスマートフォンのように社会全体のあり方を変える革新的な技術であり、Society5.0における研究開発、経済社会、安全保障などのあらゆる側面から基盤技術として期待される一方で、基盤モデルの性能を高めるためには大量データを効率的に処理する高性能計算資源が不可欠です。
そこで、東京工業大学、東北大学、富士通、理化学研究所は、基盤モデルの研究開発における計算環境を整備するため、「富岳」政策対応枠において、「富岳」を活用した大規模言語モデル分散並列学習手法の開発に向けた研究開発を行います。
実施期間
2023年5月24日から2024年3月31日まで (「富岳」政策対応枠の利用期間)
各機関・企業の役割
今回開発する大規模言語モデル分散並列学習手法は、スーパーコンピュータ「富岳」の超大規模な並列計算環境において大規模言語モデル学習を効率良く実行する技術となります。各機関・企業の役割は以下の通りです。
東京工業大学:全体総括、大規模言語モデルの並列化および高速化
東北大学:学習用データの収集、モデルの選択
富士通:大規模言語モデルの高速化
理化学研究所:大規模言語モデルの分散並列化・通信高速化、大規模言語モデルの高速化
今後について
今後4者は、日本の研究者やエンジニアが大規模言語モデルの開発に活用できるように、今回の「富岳」政策対応枠で得られた研究成果を、2024年度に、GitHub(注7)やHugging Face(注8)を通じ公開する予定です。また、多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、効率的な方法が創出され、次世代の革新的な研究やビジネスの成果に繋がることが期待されます。
さらに、ものづくりをはじめとする産業分野などへの応用を想定したマルチモーダル化のためのデータ生成手法および学習手法の開発を行う国立大学法人東海国立大学機構 名古屋大学(注9)や、大規模言語モデル構築のためのデータおよび技術提供を行う株式会社サイバーエージェント(注10)との連携も今後検討していきます。
エンドースメント
東京工業大学 学術国際情報センター 教授 遠藤 敏夫
本学・理研によるスーパーコンピュータ「富岳」を活用した大規模言語モデルの並列化・高速化、富士通の「富岳」向け高性能計算基盤ソフトウェアの開発とAIモデルの性能チューニング、東北大学の自然言語処理の技術を融合させていきます。富士通との連携においては、スモールリサーチラボ「富士通次世代コンピューティング基盤協働研究拠点」も活用してまいります。今回の取り組みにより、「富岳」上で大規模分散深層学習を実施するための環境が整備されることで、我が国のAIの研究力向上への貢献が期待されます。
東北大学 情報科学研究科システム情報科学専攻 教授 乾 健太郎
学習データの情報に透明性があり、日本語データを中心にした、商用利用も可能なオープンソースの大規模言語モデルを構築します。学習データのトレースを可能にすることによって、ブラックボックス問題、バイアス、誤情報・ハルシネーション等に関する科学的検証に耐える研究が可能になると期待されます。東北大で培った言語処理モデルの深層学習や日本語処理を考慮した言語モデル構築の知見も活かしながら大規模モデル構築の試行錯誤を重ね、得られた知見を広く共有することによって、我が国のAI研究力向上へ貢献してまいります。
富士通株式会社 執行役員EVP 富士通研究所長 岡本 青史
当社が有する大規模並列コンピューティングとAIの融合技術を活用することで、スーパーコンピュータ「富岳」を用いた大規模言語モデルの研究開発に貢献するとともに、そこで得られる先進的AI技術や知見を当社のAIプラットフォーム「Fujitsu Kozuchi (code name) - Fujitsu AI Platform」を介して提供することで、画期的なアプリケーションの開拓を促進し、持続可能な社会の実現に貢献してまいります。
理化学研究所 計算科学研究センター 松岡 聡 センター長
「富岳」で開発された「A64FX」(注11)は、SVEと呼ばれるAIの加速機能を備えていますが、その能力を最高に発揮し、かつ一般的なAIアプリで活用するには、ソフトウェアの開発と最適化が不可欠です。今回の共同研究を通じて、本計算科学研究センターの研究者を含む、我が国の言語モデルや計算機科学の研究者が結集して、スーパーコンピュータ「富岳」上で大規模言語モデル構築基盤の高度化に取り組むことが重要です。これにより、本センターとしてSociety 5.0の実現に貢献していく所存です。
課題名
「富岳」を活用した大規模言語モデル分散並列学習手法の開発(課題番号:hp230254)
詳細につきましては下記サイトをご参照ください。
https://pr.fujitsu.com/jp/news/2023/05/22.html
概要: 富士通株式会社
詳細は
http://jp.fujitsu.com/
をご覧ください。
Source: Fujitsu Ltd
セクター: IT
Copyright ©2023 JCN Newswire. All rights reserved. A division of Japan Corporate News Network.
関連プレスリリース
富士通とマイクロソフト、サステナビリティ・トランスフォーメーションを実現するクラウドソリューションの共同開発に向けた戦略的グローバルパートナーシップを締結
2023年05月29日 09時45分
富士通、「Fujitsu Technology and Service Vision 2023」を策定
2023年05月26日 11時00分
富士通、スーパーコンピュータ「富岳」の世界ランキング結果について
2023年05月22日 16時30分
富士通、ペプチド創薬の研究プロセスを管理するプラットフォーム「Biodrug Design Accelerator」を提供開始
2023年05月18日 11時00分
京都大学・Chordia Therapeutics・富士通、因果関係を発見するAI技術を用いてがんの新薬に対するバイオマーカーを発見する実証実験を開始
2023年05月17日 10時30分
富士通、武田薬品、国立がん研究センターとの共同研究により、卵巣がん患者のペイシェントジャーニーを分析・可視化
2023年05月12日 11時00分
富士通、AI技術を活用し、TOYOTA GAZOO Racingの世界耐久選手権におけるレース戦略立案を支援
2023年05月11日 13時30分
富士通、2023年3月期 通期決算概要を発表
2023年04月27日 15時30分
富士通、超低遅延、多数同時接続に対応し、30%以上のコスト削減が可能な5G仮想化基地局の高度化技術開発に成功
2023年04月25日 10時30分
富士通、「G7群馬高崎デジタル・技術大臣会合」に協力し、日本のデジタル技術の国際発信と連携に貢献
2023年04月21日 10時15分
もっと見る >>
新着プレスリリース
ZWCAD 2024:驚きと感動の体験を
2023年05月30日 07時00分
ZWCAD 2024:驚きと感動の体験を
2023年05月30日 07時00分
QuickHR Celebrates Women's Achievements with Annual Woman of Excellence Award
2023年05月29日 20時00分
三菱造船、萩海運向け旅客船兼自動車渡船の命名・進水式を下関で実施
2023年05月29日 17時00分
東電HDとトヨタ、電気自動車用蓄電池を活用した定置用蓄電池システムの開発・実証について
2023年05月29日 13時30分
三菱電機と三菱重工の会社分割(簡易吸収分割)による発電機分野での事業統合に関わる統合契約締結に関するお知らせ
2023年05月29日 12時00分
富士通とマイクロソフト、サステナビリティ・トランスフォーメーションを実現するクラウドソリューションの共同開発に向けた戦略的グローバルパートナーシップを締結
2023年05月29日 09時45分
Honda、ロードスポーツモデル「GB350」「GB350 S」の仕様を一部変更し発売
2023年05月26日 11時30分
富士通、「Fujitsu Technology and Service Vision 2023」を策定
2023年05月26日 11時00分
マツダ、ルマン24時間レース100周年大会において「マツダ787B」のデモンストレーション走行を実施
2023年05月25日 13時00分
三菱重工サーマルシステムズ、パッケージエアコンHyperInverterシリーズ 3馬力モデルの室外機を刷新
2023年05月25日 13時00分
日立、青森県向けに「流域治水 浸水被害予測システム」を初納入、本格運用開始
2023年05月25日 11時00分
三菱重工がシンガポールのセムコープ社向けに水素を活用したGTCC発電設備を受注
2023年05月24日 17時00分
三菱造船、舶用大型低速2ストロークエンジン向けにアンモニア燃料供給装置を納入
2023年05月24日 14時00分
Honda、FIAフォーミュラ・ワン世界選手権への参戦について
2023年05月24日 11時30分
米国臨床腫瘍学会年次総会におけるエーザイのがん領域の製品・開発品に関する発表について
2023年05月24日 11時00分
米国アリゾナ州と日立ヴァンタラが、優れたデータ分析とモダンアナリティクスで 貴重な水資源を確保
2023年05月23日 12時00分
LEXUS、新型「LBX」を2023年6月5日(月)に世界初披露
2023年05月22日 17時00分
三菱重工がシンガポール政府系メランティパワー社向けにガスタービン発電設備を受注
2023年05月22日 16時30分
富士通、スーパーコンピュータ「富岳」の世界ランキング結果について
2023年05月22日 16時30分
もっと見る >>