今回はオンプレミスNFSからオンプレミスオブジェクトストレージにデータを移動してみた。
今回は CloudSync サービス
について紹介したいと思います。
オンプレミスのNFSサーバーからAWS S3 へデータを高速に転送するという話を多くさせていただいておりますが、実はオンプレミスでのデータ移行、クラウド内のデータ移行にも利用可能なものです。
今回はそもそもなぜ CloudSync サービスが生まれたのかと、オンプレミスの NFSサーバからオンプレミスのオブジェクトストレージへデータ転送を試してみた結果をお届けします。
CloudSync が生まれた背景 NASA ジェット推進研究所がやりたかったこと
そもそもの生まれとしてはNASAの火星探査機で収集した画像データをNASAのジェット推進研究所へ転送し、オンプレミスのサーバにある大量のデータ解析にAWSの解析サービスを使用したいという要望から生まれたソリューションです。
今までのNetAppのクラウド連携ソリューションとの違いはデータをそのまま AWS S3 に転送するというところになります。
S3に直接データを入れることで AWS の S3 を中心としたデータ分析系のサービスを活用し分析を行うといったことが可能となります。
NASA ジェット推進研究所では夜間に転送を実施し、分析までを終わらせるためには高速に転送を行うソリューションが必要でした。
そのような背景のもと CloudSync が生まれてきました。
今までのクラウドにデータを送るもののまとめ
ONTAP Cloud NetApp
SnapMirrorを使った転送、転送元、転送先にONTAPが必要。バックアップ、DR、ワークロードオフロードなどの様々なユースケースに利用可能。オンプレミスのONTAPがそのままクラウド上で動作する。
AltaVault
基本的にはアーカイブ・バックアップのクラウドゲートウェイとして利用される。バックアップ、DRのユースケース。ポイントは既存インフラを変更せずに導入可能、対応しているバックアップ先の多さ、データの重複排除・圧縮の効率性が特徴
StorgeGrid WebScale(SGWS)
オンプレミスからデータをS3へデータをレプリケーションする。オブジェクトストレージのレプリケーション機能。
CloudSync
オンプレミスのNFS/CIFSから直接データをS3へ送る。S3をデータレイクとして、AWS の PaaS サービスを直接利用可能となる。分析を行いたいときに高速にデータを転送可能。また、大量ファイル環境においても 高速にデータ転送が可能に。
CloudSync の使い方
ここからは CloudSync を使うための手順について確認します。
CloudSync は環境を選ばずデータを転送することができます。
アーキテクチャを説明後、実際のオペレーションを見ていただければと思います。
アーキテクチャ
NFS と S3 の間にデータを変換する 「Data broker 」が存在します。このデータブローカーにデータを送ることで宛先に適したフォーマットに変換しデータ転送を行います。
Cloud Sync の動き
一通りの手順を見てみます。以下のスクリーンショットの内容はバージョンアップにより内容が異なる可能性があります。
まずはサービスにアクセスし、ログインします。
ログインするとリレーション（転送元、転送先）を選択する画面となります。
「Add Source」、「Add Target」を選択すると選択可能な対象サーバー・サービスが見れます。今回はすべて表示されるものは記載していますが転送先、転送元すべての組み合わせが使えるわけではありません。SaaSとして提供しているため「転送先」、「転送元」は随時増えていきます。
「Add source」として選択出来るものは以下の通りです。
- NFS Server
- EFS
- CIFS Server
- S3 Bucket
「Add Target」を選択した場合は以下の通りです。
- NFS Server
- EFS
- CIFS Server
- S3 Bucket
- Storage Grid
今回はオンプレミスのNFSとオンプレミスのStorageGridを選択しました。
仕組みの説明画面がでます。
転送元のIPを設定します。
ネットワークの疎通が取れると以下のような確認になります。
データブローカーのデプロイ先を選択します。
今回はオンプレミスを選択しました。
オンプレミスを選択するとデプロイメントの手順が表示されます。
最後まで手順を実行すると、以下のような画面となります。これでデータブローカーのインストール完了です。
該当のDatabroker をクリックして 「Continue」をクリック
転送元のディレクトリ一覧を選択します。
転送先のIPを設定します。
ポート、アクセスキー、シークレットキーを設定します。
「Continue」をクリックすると以下のバケットを読み込む画面になります。
転送先のバケットを選択します。
確認画面が表示されます。
「Create Relationship」をクリックすると同期が始まります。
転送完了画面は画面下部に進捗％が表示されます。
管理画面
リレーション毎の管理画面は以下のように見えます。
同期設定のスケジュール
手動での転送だけではなく、スケジューリングして定期的に差分転送をすることも可能です。
以下の画面の 「Sync Schedule」をクリック。
設定画面が表示されます。
スケジュールだけではなく、手動でオンデマンドに同期することもできます。
まとめ
今回は NetApp CloudSync Service について説明しました。発表当初は オンプレミスのNFSサーバーからAWS S3 へデータを高速に転送するソリューションでしたが、日々進化しており対応する転送元、転送先が追加されております。
また、大量のファイルが存在しても高速に転送出来るというのも特徴の１つです。