TOPページ
|
英語
日本語
|
CONNECT WITH US:
ホーム
JCNについて
サービス
お問い合わせ
会員企業ログイン
*
ホーム
プレスリリース
2017年11月14日 13時00分
Source:
Hitachi, Ltd.
日立、OSSベースでのビッグデータ分析を最大100倍に高速化する技術を開発
高速分析システム構築の低コスト化を実現
東京, 2017年11月14日 - (JCN Newswire) - 株式会社日立製作所(執行役社長兼CEO:東原 敏昭/以下、日立)は、このたび、オープンソースソフトウェア(OSS)のHadoopデータ処理基盤*1で行うビッグデータ分析を、最大100倍に高速化する技術を開発しました。本技術は、本来はソフトウェア処理に合わせて作られているデータ処理手順を、ハードウェア上の並列処理に適した手順に変換した上で、さまざまな形式のデータをFPGA*2上で高速に処理することを可能にします。これにより、高速分析を行う場合でも多数のサーバーが不要となるため、データサイエンティストが行うインタラクティブ分析や、ビジネス現場での迅速な意思決定、タイムリーな情報提供サービスなどを、低コストで実現します。日立は、今後、本技術を金融や通信などの分野に適用し、実証実験を進めることで、データアナリティクスサービスの基盤を支えていきます。
近年、IoTに用いられるセンサーをはじめ、金融機関の口座取引記録や、ソーシャルメディアの情報などの大量かつ多様なデータを、さまざまな視点や条件でインタラクティブに分析して業務やサービスに反映させる、ビッグデータ分析の重要性が高まっています。分析には、オープンソースのHadoopデータ処理基盤が広く使用されていますが、高速化のためには多数のサーバーが必要であり、機器や管理のコスト増大が課題となっています。
日立は、2016年にFPGAを用いた高速データ処理技術を開発*3しています。しかし、この技術は、Hadoopデータ処理基盤とはデータ管理方式の異なる、自社のデータベースを対象とした技術であり、データベース管理ソフトウェア自体にも個別のカスタマイズを行っているため、Hadoopデータ処理基盤への適用は困難でした。
そこで、今回日立は、Hadoopデータ処理基盤においてFPGAを用いた高速データ処理を実現する技術を開発しました*4。開発した技術の特長は以下の通りです。
1. FPGA向けに処理効率を最適化する、データ処理手順変換技術
Hadoopデータ処理基盤のデータ処理エンジンは、CPUを用いてソフトウェアで順次処理を実行することを前提に、データの取得・検索・演算といったデータ処理の手順を最適化しています。しかし、この処理手順をそのまま実行しても、ハードウェアが得意とする並列処理による高速化の効果を十分に生かすことができません。そこで、Hadoopの処理手順を解析し、分散処理効率を考慮した上で、FPGAでの並列処理に適した順序に処理命令を変換する、データ処理手順変換技術を開発しました。これにより、FPGAの回路を無駄なく効率的に利用可能となります。
2. さまざまなデータの形式を解析してFPGAで高速に処理する回路設計
従来は、FPGA上で処理を行う場合は、日付や数値、文字などのデータ形式を、ハードウェアで処理しやすい形式に限定し、データの種類ごとに専用の処理回路を用意する必要がありました。しかし、Hadoopデータ処理基盤では、例えば同じ日付のデータでもUNIX通日型、ユリウス通日型など複数の形式を許容するため、多くの専用処理回路が必要となり、搭載規模に限界のあるFPGAの回路領域を有効に活用できません。そこで、さまざまなデータ*5の形式やサイズを判別する解析回路を設け、データ形式やサイズに応じて複数のデータを一つの回路でまとめて処理するなど、並列処理の最適化調整を行う回路設計を考案しました。これにより、さまざまなデータに対応できるだけでなく、検索処理や集約処理の回路を無駄なく利用した並列処理が可能となり、高速データ処理を実現します。
本技術をHadoopデータ処理基盤に適用し、サンプルデータの分析を行った結果、データ処理性能を最大100倍に高速化できることを確認しました。これにより、高速分析に必要なサーバー数を大幅に削減することができるため、現在広く行われているHadoopベースのビッグデータ分析の低コスト化が可能です。日立は、今後、お客さまとの実証実験を通じて、本技術の実用化をめざします。
なお、本成果は、2017年11月13日(月)~16日(木)に米国・デンバーで開催される「SC17(The International Conference for High Performance Computing, Networking, Storage and Analysis)」において、技術展示を行う予定です。
本リリースの詳細は下記URLをご参照ください。
http://www.hitachi.co.jp/New/cnews/month/2017/11/1114.html
概要:日立製作所
詳細は www.hitachi.co.jp をご参照ください。
Source: Hitachi, Ltd.
セクター: エレクトロニクス, IT
Copyright ©2024 JCN Newswire. All rights reserved. A division of Japan Corporate News Network.
関連プレスリリース
日立がGreen x Digitalコンソーシアムにおいて、仮想サプライチェーンでのCO2データ連携の実証実験に成功
2023年08月09日 13時00分
コマツと日立が技術供与し、デンヨーが開発・製品化した水素混焼発電機をコマツ 小山工場に導入
2023年08月08日 11時00分
日立と通天閣観光、大阪のシンボル通天閣でリニューアルしたLED看板を9月に点灯開始
2023年07月26日 14時00分
日立、国内初 融資の申込から融資実行後の管理まで一連の業務をデジタルで完結する「金融機関向け融資DX推進サービス」を提供開始
2023年07月21日 12時00分
日立Astemo、交差点や単路での衝突被害軽減ブレーキを可能とする広角ステレオカメラによるセンシングシステムがいすゞの新型エルフに採用
2023年07月14日 13時50分
日立、シリコン量子コンピュータの実用化に向け、大規模集積に適した新たな量子ビット制御方式を提案
2023年06月12日 13時00分
日立、AWSとの協創によりハイブリッドクラウドソリューションを強化
2023年06月06日 11時00分
日立、青森県向けに「流域治水 浸水被害予測システム」を初納入、本格運用開始
2023年05月25日 11時00分
米国アリゾナ州と日立ヴァンタラが、優れたデータ分析とモダンアナリティクスで 貴重な水資源を確保
2023年05月23日 12時00分
日立と東芝が台湾向け高速鉄道車両を約1,240億円で受注
2023年05月19日 11時00分
もっと見る >>
新着プレスリリース
UK advertising reports GBP36.6bn spend in 2023
2024年04月26日 18時30分
Internationally Renowned Botulinum Toxin Experts Join WizMedi Bio's New Botulinum Toxin Development Project
2024年04月26日 14時34分
スパークス・グループによる「宇宙フロンティア2号ファンド」の設立について
2024年04月26日 14時00分
トヨタ、2023年度 販売・生産・輸出実績を発表
2024年04月25日 16時16分
《"株のアルゴリズム取引"を個人投資家も実現可能に!》 株の自動売買アプリ「Trade Stand(トレスタ)」が 大幅アップデートを発表
2024年04月25日 12時00分
三菱重工、タイの超大型複合火力発電所プロジェクトでM701JAC形GTCCの7系列目が運転開始
2024年04月24日 14時30分
トヨタ・モビリティ基金、「自転車事故削減に向けた新たな官民連携のあり方」に関するシンポジウムを開催
2024年04月24日 14時00分
Honda、新型SUV「WR-V」受注状況について
2024年04月24日 10時00分
三菱みなとみらい技術館に「空・宇宙ゾーン」を新設、リニューアルオープン
2024年04月24日 10時00分
China Medical System: New Drug Application of Desidustat Tablets Accepted in China
2024年04月23日 23時06分
「富士通SX調査レポート2024」を公開、サステナビリティ経営成功のカギはデータ利活用
2024年04月23日 10時00分
富士通、世界初 形式の異なる企業のデジタルアイデンティティー証明書を変換する技術を開発し欧州データスペースへの接続実証に成功
2024年04月19日 10時00分
ランドクルーザー、新型車"250"シリーズを発売
2024年04月18日 15時00分
Honda、「N-VAN」を一部改良し発売
2024年04月18日 15時00分
三菱重工と日本ガイシ、アンモニア分解ガスからの膜分離水素精製システムを共同開発
2024年04月18日 14時00分
PAREMINAが革新的な抗老化ソリューションを携えて、Beautyworld Tokyo 2024でアジア初上陸を発表
2024年04月18日 13時45分
富士通とオラクル、日本市場におけるデータ主権要件に対応するソブリンクラウドの提供に向け戦略的協業
2024年04月18日 11時00分
トヨタの新スポーツメディア「トヨタイムズスポーツ」始まる
2024年04月17日 15時00分
Microex Launches Web3.0 Financial Trading Solution - Pioneering Innovation in Financial Technology
2024年04月17日 15時00分
エーザイ、抗てんかん剤「フィコンパ(R)」の注射剤を新発売
2024年04月17日 10時00分
もっと見る >>