要約版:専門用語を控えて説明しています
測定データをGPUで処理
DAQIRIは、データをいったんディスクに保存せず、GPU(画像処理などが得意な計算装置)で扱うソフトです。電子顕微鏡の事例では、毎秒500ギガビットを超えるデータを受け取り、画像や分析結果にまとめます。測定中に結果を見て、条件や観察範囲を調整できます。
科学機器やセンサーのデータを扱う開発者向け
DAQIRIは、科学機器やセンサーの測定データを扱う開発者が対象です。NVIDIAのテストでは、毎秒200ギガビットを超える流量で、1,024バイト以下のパケット(通信データの小さな単位)を扱うと、CPUの処理単位1つ当たりの処理量が従来方式の約2倍でした。IGX Thorのテストでは、64バイトと256バイトでほぼ2倍、8KBでは従来方式と同程度でした。
自分の機器で処理量や遅れを確認
ConnectX-7以降の対応NIC(ネットワーク接続機器)があれば、受信データの並べ替えを機器に任せられます。処理量は自分の機器で測り、実験中の制御を重視する場合は通信の遅れも別に確認できます。同じ機器の送受信端子をケーブルでつないだテストでは、送信から受信まで約2〜4マイクロ秒でした。
対象は、科学機器やセンサーのデータを扱う開発者です。DAQIRIは、測定データをいったんディスクに保存せず、GPUで処理するためのソフトです。GPUは、画像処理などを得意とする計算装置です。
NVIDIA Developer Blogによると、DAQIRIは同社の開発基盤「NVIDIA Holoscan」のライブラリーです。ライブラリーは、開発に使う部品を指します。最新版には、受信データの並べ替えや処理量を改善する機能が加わりました。
画像:NVIDIA(公式発表)電子顕微鏡では毎秒500ギガビット超を測定中に処理
米ローレンス・バークレー国立研究所のMolecular Foundryは、強い信号と弱い信号を同時に捉える電子顕微鏡カメラを開発しました。NVIDIAとの協力で、カメラとDAQIRI、GPUによる処理を組み合わせています。
電子エネルギー損失分光法(EELS)は、電子が試料と相互作用する際に失うエネルギーを測る方法です。試料に含まれる元素や、その結びつきの特定に役立ちます。
従来は、強い信号と弱い信号を別々に測っていました。そのため、電子光学系や露光、検出器の読み出しを正確に連携させ、測定結果を位置合わせして組み合わせる必要がありました。新しいカメラは両方を同時に捉えます。実験の準備や顕微鏡の光学系を簡素にできます。
一方、カメラが生成するデータは毎秒500ギガビットを超えます。NVIDIAによると、従来のEELSのデータ流量の500倍を超えます。
この事例では、読み出し回路から送られたデータを、DAQIRIがGPUのメモリーに直接受け取ります。GPUが画像を組み立てて補正し、エネルギー損失スペクトルにまとめます。
研究チームは測定中に結果を見ながら、測定条件や観察範囲を調整できます。計算処理によって、幅5マイクロメートルのセンサー画素から、1マイクロメートル未満の空間分解能も得ています。
画像:NVIDIA(公式発表)対応NICでパケットを並べ替え、CPUとGPUの負担を減らす
通信データは、パケットと呼ぶ小さな単位に分けて送られます。最新版は、対応する「NVIDIA ConnectX-7」以降のNICに、受信したパケットの並べ替えを任せられます。NICは、ネットワークに接続する機器です。
対応する番号の形式なら、NICがデータをメモリー上の正しい位置に配置します。別のソフトで並べ替えてコピーする工程が不要になります。その分、CPUやGPUの処理能力を分析に使えます。
小さいパケットの処理量はCPUコア当たり約2倍
データの送受信を担う「ibverbsエンジン」も加わりました。生のEthernet通信では標準で選ばれます。既存のAPIの使い方を変えずに利用できます。APIは、アプリから機能を呼び出す仕組みです。
NVIDIAの性能テストでは、毎秒200ギガビットを超えるデータ流量で、1,024バイト以下のパケットを扱った場合、CPUコア当たりの処理量が従来のDPDK方式の約2倍でした。テストには「NVIDIA DGX Spark」「NVIDIA IGX Thor」「NVIDIA RTX PRO」サーバーの各プラットフォームを使っています。
IGX Thorの単一の受信待ち行列を使ったテストでは、次の結果でした。
- 64バイトと256バイトのパケットでは、処理量がほぼ2倍でした。
- 8KBのパケットでは、従来方式と同程度でした。
新しい直接ポーリング方式では、アプリが別の通信担当処理を介さずにパケットを送受信します。同じ機器の送受信端子をケーブルでつないだテストでは、送信から受信まで約2〜4マイクロ秒を記録しました。実験装置を制御する通信に使えます。大量データの受信には、まとめて処理する方式を残す構成も選べます。
判断ガイドNICの並べ替え機能を使えるか1つの迷いに、状況ごとのおすすめと理由開く閉じる
判断ガイド
NICの並べ替え機能を使えるか
状況ごとのおすすめと理由です。どれを選ぶかは、ご自身の状況で決めてください。
NICにパケットの並べ替えを任せるべき?
- 状況
- 対応するConnectX-7以降のNICを使う
- おすすめ
- 対応する番号形式なら設定を検討する
- 理由
- 対応するConnectX-7以降のNICは、互換性のある番号形式のパケットをメモリー上の正しい位置に配置できます。別のソフトで並べ替えてコピーする工程を省けますが、対応NICと番号形式が必要です。
- 出どころ
- 出典・developer.nvidia.com
不安Q&A
測定中の処理や対応機器が気になる
Q測定データは保存してからでないと分析できない?▾
DAQIRIは測定データをディスクに書き込む前に、GPU対応の処理へ送り、測定中に分析できます。電子顕微鏡の事例では、GPUが画像を組み立てて補正し、エネルギー損失スペクトルにまとめています。
出典・developer.nvidia.com今できることDAQIRI documentationを開き、測定中のデータ処理に必要な構成を確認する。
Q受信パケットの並べ替えはどの機器でも使える?▾
ハードウェアによる並べ替えは、対応するNVIDIA ConnectX-7以降のNICで利用できます。さらに、NICが番号を読み取れる互換性のある形式であることが条件です。
出典・developer.nvidia.com今できること設定例で使っているNICとパケットの番号形式が対応するかを確かめる。
Q小さいパケットなら自分の環境でも処理量が約2倍?▾
NVIDIAの性能テストでは、小さいパケットでCPUのコア当たりの処理量がほぼ2倍になりました。これはテストでの結果で、NVIDIAは自分のプラットフォームで処理量や通信遅延を評価するよう案内しています。
出典・developer.nvidia.com今できることDAQIRI benchmarksを使い、自分のプラットフォームの処理量と通信遅延を測る。
QDAQIRIの並べ替え設定では欠けたデータをどう扱えますか?▾
受信待ち行列の設定で、欠けたパケットの扱いを指定できます。NVIDIAの設定例では、受信が時間切れになった際に不完全なデータのまとまりを破棄します。