HCI仮想環境の構築

当ページでは、HCI（ハイパーコンバージドインフラストラクチャ）の構築を進めてゆきます。

　

1. 構築要件 #

PVE仮想基盤にてHCI環境を構築するためには以下の構成が必要になります。

• ホストのサイジング方法や構成例についてはこちらのページで紹介しています。
• 2台の物理DISKが推奨ですが、1台の物理DISKを論理的に2つに分けて構築するこも可能です。
• 最低2枚（推奨4枚）の物理NICが必要となります。詳しくはこちらのページを参照ください。
• PVEにはCephを簡単に導入・設定する機能がデフォルトで備わっています。

　

2. Cephの導入 #

HCI環境に必要となる分散ストレージソリューション（Ceph）を各ホストに導入してゆきます。

ホストにログインし、左メニューより「データセンター」＞「Ceph」を選択します。
＞「Cephをインストール」ボタンをクリックします。

各バージョンのEOLを確認した上で導入するCephのバージョンを選択します。（注）
＞ リポジトリを「Enterprise」から「サブスクリプションがありません」に変更します。
＞ 詳細設定にチェックを入れ、「インストール開始」ボタンをクリックします。

選択したCephのバージョンがPVE側で技術プレビュー段階だった場合、その旨のメッセージがコンソール画面で表示され、続けるか聞いてきますので問題がなければ「y(es）」で応答します。
サポート済みのバージョンに変更する場合は「N(o）」で応答してバージョン選択に戻ります。

選択したバージョンのインストールを継続するか聞いてきますので「Y(es）」で応答します。

インストールが完了するまで画面は閉じず待機します。

インストールが完了したら「次へ」ボタンをクリックします。

Cephクラスタ設定を行い、「次へ」ボタンをクリックします。（注）

▼クラスタ設定内容
Public Network	：	プライマリNICのIPアドレスをプルダウンから選択
Cluster Network	：	セカンダリNICのIPアドレスをプルダウンから選択
Number of replicas	：	データの複製数を指定（デフォルト：3）
Minimum replicas	：	読み書きを維持するための最小複製数を指定（デフォルト：2）

セットアップが完了したことを確認し、「完了」ボタンをクリックします。

Cephの状態を確認します。
＞ Health：OSDが未登録のため「HEALTH_WARN」となっていることを確認します。
＞ Health：指定したバージョンのCephが導入されていることを確認します。
＞ 状態：OSDが未登録のためOSDが0個であることを確認します。
＞ サービス：ホスト用のモニタとマネージャが追加されていることを確認します。（注）

　

3. Cephの設定 #

Cephが稼働するために必須となる4つのコンポーネント（デーモン）を登録してゆきます。

　

1）モニタの登録 #

モニタは、クラスタの稼働状況を監視し、最新の構成情報（クラスタマップ）を保持する役割を担います。CephクライアントとなるProxmoxVEはこの構成情報を元に読み書き先となるOSD（Object Storage Device）を特定します。

左メニューよりいずれかの「ホスト」＞「Ceph配下のモニタ」を選択します。
＞ 最初にCephを導入したホストのモニタが存在し、稼働中（running）であることを確認します。
＞「作成」ボタンをクリックします。

プルダウンからモニタ未導入のホストを選択 し、「作成」ボタンをクリックします。

選択したホストのモニタが追加され、稼働中（running）になったことを確認します。

残りのホスト（注）のモニタも同様に追加します。
＞ 奇数（注）のモニタが登録され、すべて稼働中（running）であることを確認します。

左メニューより「データセンター」＞「Ceph」を選択します。
＞ サービスセクションのモニタ一覧に「奇数」のモニタが登録されていることを確認します。

　

2）マネージャの登録 #

マネージャは、モニターと共に動作し、以前はモニタが担っていた負荷の高い監視業務（パフォーマンス監視や統計データ収集・提供など）を代行する役割を担います。

左メニューよりいずれかの「ホスト」＞「Ceph配下のモニタ」を選択します。
＞ 最初にCephを導入したホストのマネージャが存在し、稼働中（active）であることを確認します。
＞「作成」ボタンをクリックします。

プルダウンからマネージャ未導入のホストを選択 し、「作成」ボタンをクリックします。

選択したホストのマネージャが追加され、待機中（standby）になったことを確認します。

残りのホストのマネージャも同様に追加します。
＞ 全ホストのマネージャが登録されていることを確認します。
＞ 1台のみ稼働中（active）で残りは待機中（standby）であることを確認します。

左メニューより「データセンター」＞「Ceph」を選択します。
＞ サービスセクションのマネージャ一覧に全てのマネジャが登録されていることを確認します。

　

3）OSDの登録 #

Object Storage Deviceは、主にデータの保存・複製・復旧等を処理する役割を担います。また、自身や他のOSDが生きているかどうかを常にチェックし、異常があればモニタに報告するといったハートビートの役割も担います。

左メニューより「ホスト」＞「Ceph配下のOSD」を選択し、「OSD作成」ボタンをクリックします。

プルダウンからCeph用に追加したDISKを選択 し、「作成」ボタンをクリックします。（参）

F5キーでブラウザ画面を更新し、ホストにOSDが登録されたことを確認します。
＞ 登録直後は、非稼働（ステータスがdown）となっていることを確認します。

20秒ほど経ってから再度ブラウザ画面を更新し、稼働中（up）に変わったことを確認します。

念のため、ホストにターミナル接続し、実際のDISK構成も確認します。
＞ セカンダリDISKのタイプが「Linux 標準」から「Linux LVM」変わっていることを確認します。
＞ セカンダリDISKにLVMボリューム（PV/VG/LV）が自動生成されていることを確認します。
注）以下は論理的なセカンダリDISKで構成した場合の一例です。

# fdisk -l　　← DISK構成の確認
Disk /dev/sda: 465.76 GiB, 500107862016 bytes, 976773168 sectors
Disk model: TOSHIBA MQ01ABD0
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: F8E51A19-9A12-470B-8401-64E5F13ED108

Device         Start       End   Sectors   Size Type
/dev/sda1         34      2047      2014  1007K BIOS boot
/dev/sda2       2048   2099199   2097152     1G EFI System
/dev/sda3    2099200 134217728 132118529    63G Linux LVM
/dev/sda4  134219776 976773119 842553344 401.8G Linux LVM　　← タイプがLVMに変わっていることを確認

＜以下省略＞

# pvs	← 物理ボリュームの確認
  PV　　　　　VG　　　　　Fmt　　Attr　　PSize　　PFree
  /dev/sda3　pve　　　　lvm2　　a--　　<63.00g　7.75g
  /dev/sda4  ceph-xxx　lvm2　　a--   <401.76g　　0　　← 自動生成されている

# vgs	← ボリュームグループの確認
  VG　　　　　　#PV　#LV　#SN　Attr　　　VSize　　　VFree
  ceph-xxx　　　1　　1　　0　　wz--n-　　<401.76g　　　0　　← 自動生成されている
  pve　　　　　　1　　3　　0　　wz--n-　　<63.00g　　7.75g

# lvs	← 論理ボリュームの確認
  LV　　　　　　　　VG        Attr	       LSize    Pool Origin Data% Meta% Move Log Cpy%Sync Convert
  osd-block-xxx　ceph-xxx  -wi-ao----  <401.76g　　← 自動生成されている
  data　　　　　　 pve	   twi-a-tz--    19.68g             0.00  1.58
  root　　　　　　 pve	   -wi-ao----   <25.81g
  swap　　　　　　 pve	   -wi-ao----     7.75g

残りのホストのOSDも同様に追加します。
＞ 全ホストのOSDが登録され、すべて稼働中（UP）であることを確認します。
＞ 全てのOSDの容量（GB）が正しく表示されていることも確認します。

左メニューより「データセンター」＞「サマリー」を選択します。
＞ HealthセクションのCephの状態が「HEALTH_OK」となっていることを確認します。

左メニューより「データセンター」＞「Ceph」を選択します。
＞ Healthの状態が「HEALTH_OK」となっていることを確認します。
＞ Healthのサマリーに「警告/エラーはありません」と表示されていることを確認します。
＞ 状態の稼働中OSDsがホスト数と同数で大きな〇印が表示されていることを確認します。

　

4）MDSの登録 #

Metadata Serverは、Cephクライアントである各ホストのProxmoxVEがCeph分散ファイルシステム（CephFS）を同時に利用するために必要となるメタデータ（ファイルやディレクトリの階層構造や個々のファイルの属性）を管理する役割を担います。

左メニューより「ホスト」＞「Ceph配下のCephFS」を選択します。
＞ 上部の「CephFSを作成」ボタンがクリックできない状態であることを確認します。
＞ メタデータサーバの「作成」ボタンをクリックします。

ホスト＝MDS ID＝ホスト名となっていることを確認し、「作成」ボタンをします。

選択したホストのメタデータサーバが追加され、待機中（up:stanby）であることを確認します。
＞ 上部の「CephFSを作成」ボタンがクリックできるようになっていることも確認します。
注）CephFSの作成は後で行いますのでこの段階ではクリックしません。

残りのホストのメタデータサーバも同様に追加します。
＞ 全ホストのメタデータサーバが登録されていることを確認します。
＞ 全てのメタデータサーバがまだ待機中（up:stanby）であることを確認します。（参）

左メニューより「データセンター」＞「Ceph」を選択します。
＞ サービスセクションのメタデータサーバ一覧に全てのMDSが登録されていることを確認します。

　

4. 分散ストレージの作成 #

ProxmoxVEで利用可能な2種類のCeph分散ストレージ（RBD／CephFS）を作成します。

　

1）ブロックストレージ（RBD） #

ブロック単位のアクセスを可能とするブロックデバイス（RADOS Block Device）を作成し、ライブデータ（VMやコンテナ）用の分散ストレージを作成します。

左メニューよりいずれかの「ホスト」＞「Ceph配下のPools」を選択します。
＞「作成」ボタンをクリックします。

プール名を入力し、「作成」ボタンをクリックします。
※その他設定内容は下段の通りですが、基本デフォルトのままで良いと思います。

▼設定情報
名前	：	識別しやすいプール名
サイズ	：	データの複製数（2～7、初期値：3）
Min.サイズ	：	読み書きを維持するための最少複製数（1～7、初期値：2）
Crush Rule	：	データ分散を制御するポリシー（Replicated_ruleのみ）
# of PGs（PG数）	：	データの分割数（5OSD以下なら初期値：128）
自動スケーリングモード	：	システム環境に応じてPG数を自動調整する機能（初期値：on）

プールが作成されたことを確認し、初期PG数と最適PG数を確認します。

自動スケーリングモードにより、PG数が最適PG数に近づいていることを確認します。
＞ PG数が最適PG数に達するまでしばらく（数分程度）待機します。

PG数が最適PG数に到達したことを確認します。

左メニューの各ホストをクリックして展開し、ストレージ一覧を表示させます。
＞ 各ホストにブロックストレージが追加されていることを確認します。

左メニューより「データセンター」＞「ストレージ」を選択します。
＞ ブロックストレージ（RBD）が追加されていることを確認します。（参）

左メニューより「データセンター」＞「サマリー」を選択します。
＞ システム全体で利用可能なストレージ容量（注）が増えていることを確認します。

　

2）ファイルストレージ（CephFS） #

ファイル単位のアクセスを可能とするファイルシステム（CephFS）を作成し、コールドデータ（ISOやテンプレート）用の分散ストレージ（NASやNFSのようなもの）を作成します。

左メニューよりいずれかの「ホスト」＞「Ceph配下のCephFS」を選択します。
＞ MDS（メタデータサーバ）が登録されていることを確認します。
＞ 上部の「CephFSを作成」ボタンをクリックします。

CephFS名を入力（初期値：cephfs）し、「作成」ボタンをクリックします。（参）

タスクビューアが表示され「TASK OK」と表示されたらビューアを「X閉じ」します。

CephFSが作成されていることを確認します。
＞ 1台のMDSの状態が稼働中（up:active）に変っていることを確認します。
＞ 各ホストにファイルストレージが追加されていることを確認します。

左メニューより「データセンター」＞「ストレージ」を選択します。
＞ ファイルストレージ（CephFS）が追加されていることを確認します。

左メニューより「データセンター」＞「サマリー」を選択します。
＞ 利用可能なストレージ容量が増えている（誤表示されている）ことを確認します。（注）

　

5. 外部ストレージの追加 #

VMやコンテナの外部バックアップ用ストレージを追加します。

　

1）NFSサーバーの追加 #

今回はバックアップ用ストレージとしてNFSサーバーを追加します。

左メニューより「データセンター」＞「ストレージ」を選択します。
＞「追加」ボタンをクリックし、プルダウンからNFSを選択します。

設定情報を入力し、「追加」ボタンをクリックします。

▼設定情報
ID	：	サーバー識別名（/mnt/pve直下にこの名前のディレクトリが作成されます）
サーバ	：	サーバーのIPアドレス
Export	：	サーバーの保存ディレクトリパス（参）
内容	：	バックアップ対象をプルダウンから選択（複数選択可）（参）
ノード	：	全部（無制限）のまま（特定のホストを指定することもできます）
有効	：	チェックのまま（このストレージを有効にします）
Volume-Chain	：	チェックなし（無効）のまま（参）
事前割当	：	ディスクイメージの事前割当モードを選択（参）
NFSバージョン	：	規定のまま

NFSサーバーが追加されたことを確認します。
＞ 各ホストにそれぞれ追加されていることも確認します。

NFSへのマウントポイント（/mnt/pve/指定したID名）が作成されていることを確認します。
＞ マウント先にバックアップ対象別のディレクトリが作成されていることも確認します。

# ls -lh /mnt/pve/
total 0
drwxr-xr-x 4 root root  2 Apr 20 18:33 cephfs
drw-r--r-- 3 root root 18 Apr 24 14:34 nfs1　← NFSへのマウントポイント

# ls -lh /mnt/pve/nfs1/
total 0
drwxr-xr-x 2 root root 6 Apr 24 14:34 dump　← VM・コンテナのバックアップ保管ディレクトリ

以上でNFSサーバーの追加は完了です。
バックアップ方法については次ページ（仮想マシン・コンテナの操作方法）で紹介します。

　

2）非特権コンテナ用のバックアップ設定 #

PVEのデフォルト設定のままでは非特権コンテナを外部ストレージにバックアップできないため設定を変更します。具体的には、コンテナのバックアップに必要となる一時ファイルの作成場所を、デフォルトの外部ストレージからローカルストレージまたはCephFSストレージに変更します。

CephFSストレージにする場合は、共有ディレクトリ内に一時保管用ディレクトリを作成します。
注）ローカルストレージにする場合は、既存のディレクトリが使えるため作成は不要です。
注）以下の作業はいずれか1台のホストで行えばよく、全ホストで行う必要はありません。

# mkdir /mnt/pve/cephfs/tmp　 ← 一時ファイルの作成場所（ディレクトリ）を作成
# ls -lh /mnt/pve/cephfs/　　 ← ディレクトリの作成確認
drwxr-xr-x 2 root root 0 Apr 20 18:33 dump
drwxr-xr-x 4 root root 2 Apr 20 18:33 template
drwxr-xr-x 2 root root 0 Apr 24 16:13 tmp　 ← 作成されていることを確認

コンテナのバックアップに必要となる一時ファイルの作成場所を変更します。
注）作成場所は一つしか指定できませんので複数指定しないよう注意してください。
注）以下の作業は「すべてのホスト」で行う必要があります。

# cp -p /etc/vzdump.conf /etc/vzdump.conf.org　← 標準設定ファイルの退避
# vim.tiny /etc/vzdump.conf　← 設定ファイルの編集
------------------------------------------------------------------------
#tmpdir: DIR		← デフォルト（/mnt/pve/外部ストレージ名/dumpが指定されます）
↓
tmpdir: /var/tmp　　　　　　　 ← ローカルストレージを作業場所とする場合に追加
または
tmpdir: /mnt/pve/cephfs/tmp　← CephFSストレージを作業場所とする場合に追加
------------------------------------------------------------------------

以上で非特権コンテナ用のバックアップ設定は完了です。再起動も不要です。

　
以下、参考までにこの設定が必要な理由について詳しく説明します。

---

非特権コンテナとは
コンテナはホストとkernelを共有しているため、そのままではroot権限でホストに自由にアクセスできてしまいホストの安全性が脅かされてしまうことから、コンテナに特殊なユーザーID（UID）を付与することでroot権限を剥奪してセキュリティを高める仕組みを採用しています。このroot権限を剥奪されたコンテナのことを「非特権コンテナ」といいます。なお、敢えてroot権限を維持させたままの「特権コンテナ」を作成することもできますが、ホストの安全性から推奨はされていません。

非特権コンテナのバックアップが失敗する理由
ディスクイメージをまるごと一気にコピーする仮想マシン（VM）のバックアップとは異なり、コンテナのバックアップでは、コンテナの特性上、コンテナ内のファイルを一時ディレクトリにコピーした後、作成された一時ファイルをアーカイブするという2段階の工程を踏みます。どちらの工程もバックアップ先となる外部ストレージのディレクトリ内で行う設定となっているため、一時ファイルの作成段階にて、PVE側は「特殊なUIDを持つファイル」を外部ストレージに書き込もうとしますが、外部ストレージ側は「権限のない不明なUIDを持つファイル」が書き込まれようとしていると判断し、ファイルの書き込みを拒否（Cannot open: Permission denied）します。結果、一時ファイルの作成ができずバックアップが失敗します。

バックアップの失敗を回避するための対策
外部ストレージではなくローカルストレージまたはCephFSストレージを一時ファイルの作成場所に指定することで、特殊なUIDを含んだコピーを正常に完了させることができます。後続のアーカイブ作成はホスト自身のroot権限で行われるため、外部ストレージへの書き出しも成功します。

---

　

6. HA設定の変更 #

　

1）シャットダウンポリシーの変更 #

シャットダウンポリシーをHCI環境に適した可用性のあるポリシーに変更します。

▼ポリシーの比較

ポリシー名	ホストの操作	ゲストの種類	HAの動作	HA動作の詳細
Conditional （デフォルト）	停止	VM/コンテナ	停止 –> 移動	一旦停止してからフェイルオーバー（別ホストで再起動）
	再起動	VM/コンテナ	停止のみ	Freezeと同じ
Migrate （HCI環境推奨）	停止／再起動	VM	無停止 –> 移動	ライブマイグレーション
		コンテナ	停止 –> 移動	一時停止を伴うマイグレーション
Failover	停止／再起動	VM/コンテナ	停止 –> 移動	故障と同じ扱いとしフェイルオーバー（別ホストで再起動）
Freeze	停止／再起動	VM/コンテナ	停止 –> 凍結	HA監視対象外としゲストを凍結（ゲスト再起動には凍結解除が必要な場合あり）（*1）

• ホストが正常復帰すれば凍結は自動的に解除され同ホストで再起動されますが、通信不良やエラー等で正常復帰できなければ凍結が維持され全ホストで再起動が不可となります。なお、ホストが正常復帰できていない状態でも、凍結解除を行えば別のホストでの再起動は可能になります。凍結を解除するためには、こちらのページを参考に該当ゲストの要求状態を「started」に変更します。

左メニューより「データセンター」＞「オプション」を選択します。
＞ HA設定が「規定」になっていることを確認し、ダブルクリックします。

別ホストに移動させるポリシー（migrate）に変更し、「OK」ボタンをクリックします。

HA設定が「shutdown_policy=migrate」に変わったことを確認します。

　

以上でHCI仮想環境の構築は完了です。
次ページでは、仮想マシンやコンテナを操作する方法（作成・複製・削除など）を紹介します。