Volume 21, No.4 Pages 382 - 386
3. SPring-8/SACLA通信／SPring-8/SACLA COMMUNICATIONS
SACLAにおけるアライバルタイミングモニター解析システムの整備
Development of Analysis Systems for the Arrival Timing Monitor at SACLA
1. SACLAのアライバルタイミングモニター
X線自由電子レーザー（XFEL）施設のSACLAでは、XFELパルスが持つ大強度・短時間幅の特性を活かし、ピコ秒以下の早い時間スケールでのポンプ－プローブ型実験が実現している。このポンプ－プローブ実験の時間分解能は、SACLAが供給するXFELパルスと、実験ホール内に整備されている同期レーザーシステムからのフェムト秒レーザーパルスが標的試料に到達する時間差がパルスごとに現状約250 fs（RMS）の変動（ジッター）を持つことによる影響を受ける。このため、XFELパルスと同期レーザーパルスの到達時間差の基準値からの増減をパルスごとに実測して、測定データの振り分けにより時間分解能を向上させる目的で、「アライバルタイミングモニター（arrival timing monitor）」[1][1] T. Katayama et al.: Struct. Dyn. 3 (2016) 034301.と呼ばれているシステムが整備され、BL3での供用が2015年9月に開始されている。アライバルタイミングモニターでは、光学素子によって横長な空間形状に成形した同期レーザーパルスと、XFELパルスをGaAsの薄膜結晶に前者は垂直に、後者は斜め45度に時空間的にほぼオーバーラップするように照射させている。このような配置をとった上で、GaAs結晶の背面から同期レーザーパルスの透過光の空間分布をCCDカメラで測定（図1(a)）する。XFELパルスはGaAs結晶に光学的性質の変化を誘起し、光透過率を一時的に低下させる。したがって、XFELパルスの到達後に同期レーザーパルスが通過した領域は、測定される透過光量の減少として表れる。すなわち、アライバルタイミングモニターでは、パルスごとの到達時間差の変動を、標的結晶の光透過率の空間分布の変動として測定できる仕組みになっている。図1(b)に測定対象の領域内の光強度を1次元に射影したスペクトルと、同期レーザーのみの照射で得られた光強度のベースラインスペクトルを示す。また、これらから換算される光透過率の分布を図1(c)に示す。到達時刻差を表す指標として光透過率の微分が最大となる画像位置を用いている。画像のピクセル値から実際の時間単位への換算係数は、同期レーザー側の光路長をディレイステージで変化させながら画像を取得したときの遅延時間と到達時刻差を示す画像位置の関係から決定される。本稿では、実験ユーザーがアライバルタイミングモニターから到達時間差情報を取得して、他の解析等に再利用できるように整備されている解析用アプリケーションについて、SACLAにおけるデータ取得・解析環境[2][2] Y. Joti et al.: J. Synchrotron Rad. 22 (2015) 571-576.の現状に触れながら紹介する。
図1 アライバルタイミングモニターのオフライン解析ツールのキャプチャ画像。(a)は特定のシングルパルスで取得された画像例。(b)はその測定対象領域内の光強度の1次元射影（緑線）および光強度のベースラインとなるスペクトル（灰色線）。(c)は(b)の緑線を灰色線で割って得られた光透過率のスペクトル（緑線）とその平滑化されたスペクトル（青線）。青線の微分曲線を水色線で示す。(d)は(c)の緑線に対するフィッティング結果（赤線）。
2. SACLAのデータ取得・解析環境
SACLAでは、X線検出用のCCDカメラ（MPCCD[3][3] T. Kameshima et al.: Rev. Sci. Instrum. 85 (2014) 033110.）のほか、アライバルタイミングモニターにも使われている可視光－近赤外光検出用の汎用CCDカメラなど、ビームラインで常用されているカメラの画像保存は、実験ステーションのユーザー端末に整備されている専用のアプリケーションを用いて行うことができるようになっている。図2にこれらのカメラの画像が解析に用いられるまでの概略図を示す。カメラの画像データはそれぞれ対応する専用のサーバー（データハンドリングサーバー）によって常時連続的に取得されていて、メモリー上に暫くの時間保持されている。保存のプロセスが開始されると、メモリー上の画像データは高速キャッシュストレージに転送されて保存され、関連する情報からなるメタデータがデータベースサーバーに格納される仕組みになっている。保存のフレームレートはSACLAの運転周波数、すなわちXFELパルスの供給周波数に一致させることが多く、最大値は60 fpsである。また、一回の画像保存プロセスは、実験ユーザーの任意による一定時間の一続きのデータ群を単位として行われることになっていて、このデータ群の単位のことを「ラン（run）」と呼び、各ランには個別の識別番号（ラン番号）が割り振られ、その後の解析の際にデータ群を特定する識別子として使用される。さらに、SACLAのXFELパルスには個々に識別番号（タグ番号）が付与されることになっている。1枚1枚の画像データにも画像取得時に対応するXFELパルスのタグ番号が付与され、ラン番号とタグ番号の組み合わせで画像データが特定できる仕組みになっている。
図2 SACLAにおけるデータ取得・解析システムの概略図。
この高速キャッシュストレージやアーカイブ用のストレージのディスク領域にある画像データの解析は、PCクラスタで構成されるデータ解析システム（HPCシステム）を用いて行うことができる。このHPCシステムには、画像データをHDF5フォーマットでファイルに出力するコマンドや、実験ユーザーの解析プログラムから画像データを読み込むためのAPI（Data Access API）など、解析を効果的に進めるための諸機能が整備されている。HPCシステムへのログインは、SACLAの実験ホールあるいは解析ルームのユーザー端末から行うことができるほか、VPN接続を通して施設外からも可能になっている。HPCシステムでの画像データの読み込みは、ラン単位の保存が終了した段階で、そのランに帰属する全てのタグに対して可能になる仕組みになっている。したがって、一回のランの時間が数分間で終了する測定ではそれほどでもないが、数時間にわたる長い測定を行う場合には、このラン単位で行う解析にはオフライン解析の度合いが大きくなる。
一方、ビームタイム実験においては、限られた時間内に目的の測定を達成するために、画像データを保存しながらリアルタイムに解析を行って、有効なデータの蓄積状況をモニターしていくことも効果的となる。また、ポンプ－プローブ型の測定の場合には、アライバルタイミングモニターの解析結果をリアルタイムに測定データの振り分けに反映させたいという要望も生じる。そこで、これらをオンライン解析の手法で実現するためのシステムも整備され、一部は既にユーザー実験に用いられている[4,5][4] T. Nakane et al.: J. Appl. Cryst. 49 (2016) 1035-1041.
[5] L. Foucar: J. Appl. Cryst. 49 (2016) 1336-1346.。オンライン解析では、データハンドリングサーバーのメモリー上に一時的に保持されている画像データを、オンライン解析専用の計算サーバー（オンライン解析サーバー）から直接取得して解析を行い、解析結果をタグ番号と対応付けて、実験ユーザー専用に供用されているデータベースサーバー（User-Database: UDB）に格納できる仕組みになっている（図2下）。UDBでは、施設の運転と連動している他のデータベースサーバーとは異なり、実験ユーザー自らがテーブルの作成や、値の格納を行えるように権限の提供を行っている。オンライン解析サーバーには、解析プログラムの中でオンライン画像データを取得するためのAPI（Online API）や、データベースサーバーに関する特別な知識を必要とすることなくUDBと値の読み書きを行うことができるAPI（User-Database API: UDB-API）が整備されている。オンライン解析サーバーは実験ホールに設置されている機器と直接通信を行うため、安全面等から、実験ホール内のユーザー端末からのみログインして操作できるようにしている。そのため、限られたビームタイムを有効活用するため、解析プログラムを実験ホールに来る前にあらかじめ構築しておくことや、解析結果をビームタイム終了後に実験ホールの外から容易に読み出すことができるように、オンライン解析環境とオフライン解析環境のネットワーク的な連携を図っている。一つはそれぞれの解析環境から読み書きすることができるようにしたNASであり、オンライン解析サーバーのホームディレクトリをここに配置し、HPCシステムと同一のアカウント情報でログインできるようにした。こうして、実験ホールの外からであってもHPCシステムを通してオンライン解析サーバーのディスク領域にアクセスし、独自の解析環境を構築できるようになっている。もう一つには、オンライン解析環境にあるUDBのレプリケーションデータベースをオフライン解析環境に配置することにより、オンライン解析の結果をHPCシステムから随時利用可能な仕組みを整えている。
3. アライバルタイミングモニターの解析ツール
アライバルタイミングモニターの解析用アプリケーション（Timing Monitor Analyzer: TMA）は、前述のオフライン解析環境とオンライン解析環境のそれぞれに整備されていて、保存された画像データを用いたラン単位の解析を行うことも、準リアルタイム的にタグ単位の追いかけ解析を行うことも可能になっている。さらに、それぞれについて、端末の画面表示を見ながら操作を行うことができるグラフィカルインタフェースと、実験ユーザー独自のスクリプトの中に埋め込むことができるコマンドラインインタフェースを用意している。いずれも画像データから到達時間差情報を取り出す解析プロセス自体は同一のアルゴリズムを使っていて、目的に応じて最適なツールを選択できるようになっている。以下、4つの解析ツールの特徴や用途について紹介する。
A. オフラインTMAのグラフィカルインタフェース
この解析ツールのキャプチャ画像が図1である。ここで、解析上の実行パラメーターである、解析対象とするラン番号の範囲やベースラインデータを取得するラン番号、適用する解析パラメーター、解析結果の出力ディレクトリなどの設定が行える。画像データの取得方法は、ストレージからの直接取得にも、HDF5フォーマットに変換したファイルからの取得にも対応していて、用途に応じて選択できる。解析パラメーターの調整は、特定のラン内に含まれる個別のタグを選択して解析過程のグラフ表示を見ながら行うことができる。解析パラメーターの設定においては、保存された画像データを用いて十分検討した値を使用することが望ましいとの観点から、他の3つの解析ツールではいずれも、このグラフィカルインタフェースで最適化し、設定ファイルとして保存した値を読み取って使用する設計としている。解析対象とするラン番号に、既に画像データが存在するラン番号を指定して実行ボタンを押下した場合は、直ちに解析プロセスが開始される。一方、未だ存在しないラン番号を指定して実行した場合は、そのラン番号に対応する画像データが利用可能になるまで解析プロセスの待機状態に入り、ラン単位の追いかけ解析を行うことができる。ラン番号ごとの各タグに対する解析はHPCシステム上のマルチプロセスで実行され、集約された解析結果がCSVフォーマットでファイル出力されるほか、種々の統計情報がランサマリーとして画像表示され、解析状況を把握できるようになっている。ビームタイム中の実験ユーザーは所定の手続きにより、HPCシステム上で一定数の計算ノードを専有的に使用することができ、この場合には割り当てられたジョブクラスで解析を実行することをグラフィカルインタフェース上で選択できるようにしてある。なお、ランあたりの標準的な解析所要時間は、画像保存のフレームレートを30 fpsとした場合に、実験ユーザーが各ランに設定する測定所要時間の半分程度である。
B. オフラインTMAのコマンドラインインタフェース
この解析ツールでは、解析対象とするラン番号の範囲のほかは、グラフィカルインタフェースで保存した設定ファイルを引数で指定することにより、ベースラインデータを含む全ての実行パラメーターを再利用する仕様にしている。コマンドラインインタフェースからの出力は解析結果のCSVフォーマットファイルのみで、サマリープロットは作成せず、ランあたりの処理速度をさらに短縮させている。このため、実行パラメーターが確定した後に、対象とするランに対する解析プロセスを実験ユーザー自身のスクリプトから実行したい用途などに有効である。
C. オンラインTMAのグラフィカルインタフェース
この解析ツールの開発中のキャプチャ画像を図3に示す。実行パラメーターの設定では、オフラインTMAのグラフィカルインタフェースで保存した設定ファイルを指定してベースラインデータを含む解析パラメーターを与えることで、そのほかはXFELパルスの繰り返し周波数や解析対象とする総タグ数などのオンライン解析に特化したパラメーターのみ指定すればよい設計にしている。また、解析結果の格納先として、UDBに新たなテーブルを作成することや、既存のテーブルを選択することもできる。所要のパラメーターを設定した後、実行ボタンを押下すると直ちにタグごとのオンライン解析が開始され、UDBに格納された解析結果は他の解析プログラムからUDB-APIを用いて準リアルタイム的に読み込んで再利用できるようになる。また、UDBに格納された値は画面上にトレンド表示され、種々の統計情報の更新表示とともに解析状況をモニターできるようになっている。さらに、UDBに格納された解析結果をオフライン解析において再利用する用途のために、CSVフォーマットやHDF5フォーマットに変換してファイル出力する機能も用意している。
図3 アライバルタイミングモニターのオンライン解析ツールのキャプチャ画像。
D. オンラインTMAのコマンドラインインタフェース
この解析ツールでは、グラフィカルインタフェースで設定が必要な実行パラメーターは、オフラインTMAで保存した設定ファイルを含め、全て引数で指定することにしている。このため、やはり実験ユーザー自身のスクリプトからオンライン解析を実行したい用途などに有効である。
4. まとめと今後の展望
ここまで、SACLAのデータ解析環境上に構築してきたアライバルタイミングモニターの解析用アプリケーションTMAについて概要を紹介してきた。これらのうち、オフラインTMAについては2015年9月以降、順次リリースしており、オンラインTMAを含め今秋に全ての解析ツールが出揃う計画になっている。今後は、さらなる利便性の向上のために、ファイルやUDBに格納された解析結果に対するビューアー機能の追加も検討している。こうして、アライバルタイミングモニターでは、オフライン解析とオンライン解析のそれぞれや、また、それらのネットワーク的な連携を用いた組み合わせから、多様な利用法を選択できる環境が整いつつある。実験ユーザーの実験・解析の遂行に効果的に役立てていただくことができれば幸いである。
参考文献
[1] T. Katayama et al.: Struct. Dyn. 3 (2016) 034301.
[2] Y. Joti et al.: J. Synchrotron Rad. 22 (2015) 571-576.
[3] T. Kameshima et al.: Rev. Sci. Instrum. 85 (2014) 033110.
[4] T. Nakane et al.: J. Appl. Cryst. 49 (2016) 1035-1041.
[5] L. Foucar: J. Appl. Cryst. 49 (2016) 1336-1346.
（公財）高輝度光科学研究センター XFEL利用研究推進室
〒679-5198 兵庫県佐用郡佐用町光都1-1-1
TEL : 0791-58-0802 ext 3399
e-mail : kyo.nakajima@spring8.or.jp
