1. 環境

CentOS8
Nvidia Driver 430.14
Docker 19.03.8

2. Dockerインストール

こちらのページを参考にインストールを行った。

https://qiita.com/cyberblack28/items/0b0ec02bce67a16e2f17

以前は nvidia-docker コマンドとかがあったみたいだが、最近は docker コマンドからGPUが使えるようになったみたい

https://qiita.com/ksasaki/items/b20a785e1a0f610efa08

特に過去のしがらみ等はないので、「Docker 19.03 + nvidia-container-toolkit」のインストールを行った。

3. nvidia-container-toolkitのインストール

以下のQuickStartにはCentOS8の記載はないが、CentOS7と同じ方法でインストール可能

https://github.com/NVIDIA/nvidia-docker/tree/master#centos-7-docker-ce-rhel-7475-docker-ce-amazon-linux-12

4. 動作確認

$ docker run --gpus 1 --rm nvidia/cuda nvidia-smi
Sun May  3 03:53:16 2020       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 430.14       Driver Version: 430.14       CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 105...  Off  | 00000000:07:00.0 Off |                  N/A |
| 29%   38C    P8    N/A /  75W |      0MiB /  4040MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

これでDockerからGPUを利用できそう

以上

こちらのページを参考にGPUパススルーの設定を行ったが、エラーが発生したため備忘録として残しておく。

https://www.server-world.info/query?os=CentOS_8&p=kvm&f=12

1. 環境

ホスト：CentOS8

• libvirt：4.5.0

ゲスト：CentOS8 ※すでに構築済みのものを使用

2. 発生した問題（1）

以下の画像のエラーが発生し、仮想マシンの起動に失敗した。

2-1. 解決方法

いろいろ調べていたところ vfio_iommu_type1  というモジュールが読み込まれていないことが分かり、これを読み込ませることで起動できるようになる。

・一時的には
# modprobe vfio_iommu_type1
・永続的には（ホストの再起動が必要）
# echo 'vfio_iommu_type1' > /etc/modules-load.d/vfio_iommu_type1.conf

3. 次に発生した問題（2）

問題（1）を解決後、Nvidia driverのインストールを行い、nvidia-smiを実行したところ以下のエラーが発生した。
$ nvidia-smi
Unable to determine the device handle for GPU 0000:07:00.0: Unknown Error
dmesgを実行するとこのようなログが複数残っていた。

$ dmesg
・・・
[   26.907855] NVRM: GPU 0000:07:00.0: RmInitAdapter failed! (0x23:0x56:498)
[   26.908054] NVRM: GPU 0000:07:00.0: rm_init_adapter failed, device minor number 0
・・・

3-1. 解決方法

Nvidia driverはハイパーバイザの動作を確認し動作を停止させるらしい。これを回避するためには、VM設定XMLのfeaturesタグ内に以下のhypervとkvmタグを追加する。

# virsh edit [vmname]
・・・
  <features>
  ・・・
    <hyperv>
      <vendor_id state='on' value='whatever'/>
    </hyperv>
    <kvm>
      <hidden state='on'/>
    </kvm>
  ・・・
  </features>
・・・

3-1-1. 参考サイト

Windows の仮想マシンに NVIDIA の GPU をパススルーした場合に “Error 43 : Driver failed to load”

Ubuntu19.10 KVMでGPUのパススルーができない問題の解決策
※私の環境ではこの設定は不要だった

1. 発生する問題

SPICEクライアントを利用してWindowsゲストマシンに接続し、音楽などを再生すると数秒ごとに音が途切れるようにプチプチとノイズが入る。Linuxゲストマシンでは発生しない。

2. 環境

2.1 KVMホスト

OS：CentOS7.6（3.10.0-957.12.2.el7.x86_64）
libvirt：4.5.0
qemu-kvm：2.12.0

2.2 KVMゲスト

OS：Windows7, Windows8.1, Windows10

2.3 SPICEクライアント

※KVMホスト上
OS：Windows10, Centos7.6
remote-viewer：5.0-11

3. 対処方法

3.1 結論

サウンドデバイスを「ac97」に変更することで解決できる。他にも、USB DacをUSBリダイレクトで接続することで音にノイズが交じることなく再生することができた。

3.2 サウンドデバイスの変更

デフォルトでは下図のようにサウンドデバイスに「ich6」が選択されているが、「ac97」に変更する。

3.2 ドライバのインストール

3.2.1 Windows 7

3.1で変更したサウンドデバイスは「realtek ac97」であり、デフォルトではドライバが存在しないため次のようにサウンドデバイスが認識されないのでドライバをインストールする。

次のリンク先から「Download Realtek AC97 Sound Driver 6305 (Vista / 7) (29.68 MB)」をダウンロード（ZIPファイル）

Download Realtek ac97

ダウンロードしたファイルを展開し、下図の「setup.exe」を実行して手順を進めていくと、署名の検証エラーが発生しますが、「このドライバーソフトウェアをインストールします」を選択して先に進み、インストールが完了したら再起動します。

再起動後、スピーカーのアイコンから☓マークが消えてサウンドデバイスが認識されます。

3.2.2 Windows8.1 , Windows10

Windows8.1 と Windows10 ではドライバインストール時の証明書が検証できないとインストールできない（エラーとなる）ため、インストール前に別の手順を行う必要がある。

「スタート」→「電源（マーク）」の順にを選択すると「シャットダウン」と「再起動」の選択リストが表示されるので、shiftキーを押しながら「再起動」を選択すると、次の画面が表示されます。「オプションの選択」画面が表示されたら、「トラブルシューティング」→「詳細オプション」→「スタートアップ設定」を順にクリックし、再起動します。

再起動すると次の画面が表示されるので、「7 ドライバー署名を強制しない」を選択します。

この後デスクトップが表示されれば事前準備は完了です。この後はWindows7と同じようにドライバをインストールする。

以上

CentOS6の32bit環境に導入したついでに64bit環境のCentOS7にSnortを導入

1. 環境

CentOS7.6（x86_64）をMinimalでインストール
Kernel Version : 3.10.0-957.21.3.el7.x86_64
※インストールイメージからインストール後Updateのみ実施

2. インストール

2-1. epelの導入

# yum install epel-release
# sed -i 's/enabled=1/enabled=0/g' /etc/yum.repos.d/epel.repo

私はデフォルトで無効にしています。

2-2. 必要なライブラリのインストール

$ sudo yum install rpm-build autoconf automake pcre-devel libpcap-devel gcc flex bison zlib-devel openssl-devel gettext gcc-c++ git rpmdevtools
$ sudo yum --enablerepo=epel install libdnet-devel luajit luajit-devel

tarballで配布されているソースコードパッケージからrpmファイルを生成するためにcheckinstallを導入します。（daq-2.0.6.tar.gzにはspecファイルが含まれていない）
また、epelリポジトリに daq のパッケージが存在しますが、必要なファイルが足りず後の snort のビルドが行えないので注意

$ git clone http://checkinstall.izto.org/checkinstall.git
$ cd checkinstall

※参考：checkinstallをインストールしてrpmパッケージを作成してみた

そのままだとパッケージ作成時にエラーで落ちるため checkinstall.in ファイルを次のように修正

$ diff -u checkinstall.in.org checkinstall.in
--- checkinstall.in.org 2019-06-22 08:07:20.144490509 +0900
+++ checkinstall.in     2019-06-22 08:07:32.168331040 +0900
@@ -2428,8 +2428,6 @@
 BuildRoot: $BROOTPATH
 Provides:  $PROVIDES
 Requires:  $REQUIRES,/bin/sh
-Recommends: $RECOMMENDS
-Suggests:  $SUGGESTS
 
 %description
 EOF

$ diff -u checkinstallrc-dist.org checkinstallrc-dist
--- checkinstallrc-dist.org     2019-06-23 22:15:04.217209722 +0900
+++ checkinstallrc-dist 2019-06-23 22:17:33.480591938 +0900
@@ -117,7 +117,7 @@
 NEW_SLACK=1
 
 # Comma delimited list of files/directories to be ignored
-EXCLUDE=""
+EXCLUDE="/sys"
 
 # Accept default values for all questions?
 ACCEPT_DEFAULT=0
 
$ diff -u installwatch/Makefile.org installwatch/Makefile
--- installwatch/Makefile.org   2019-06-23 22:17:55.687796979 +0900
+++ installwatch/Makefile       2019-06-23 22:18:14.558971202 +0900
@@ -11,7 +11,7 @@
 VERSION=0.7.0beta7
 
 BINDIR=$(PREFIX)/bin
-LIBDIR=$(PREFIX)/lib
+LIBDIR=$(PREFIX)/lib64
 
 all: installwatch.so

$ make
$ sudo make install
$ su -
# cd /usr/local/sbin
# diff -u checkinstall.org checkinstall
--- checkinstall.org    2019-06-23 22:45:25.807058269 +0900
+++ checkinstall        2019-06-23 22:48:51.508962212 +0900
@@ -2470,7 +2470,7 @@
 # Prepare directories to be included in the .spec file
 mv ${TMP_DIR}/newfiles ${TMP_DIR}/newfiles.tmp
 cat ${TMP_DIR}/newfiles.tmp | while read line; do
-   [ -d "${BUILD_DIR}/${line}" -o -L "${BUILD_DIR}/${line}" ] && echo -n "%dir " >> ${TMP_DIR}/newfiles
+   [ -d "${BUILD_DIR}/${line}" ] && echo -n "%dir " >> ${TMP_DIR}/newfiles
    echo "\"/${line}\"" >> ${TMP_DIR}/newfiles
 done

# rpmdev-setuptree
# curl -L https://www.snort.org/downloads/snort/daq-2.0.6.tar.gz -o daq-2.0.6.tar.gz
# tar zxvf daq-2.0.6.tar.gz
# cd daq-2.0.6
# ./configure
# checkinstall
# yum localinstall /root/rpmbuild/RPMS/x86_64/daq-2.0.6-1.x86_64.rpm
# exit
$

2-3. snort のビルド＆インストール

こちらの snort-2.9.13.tar.gz には spec ファイルが存在するので rpmbuild でビルド可能

$ curl -L https://www.snort.org/downloads/snort/snort-2.9.13.tar.gz -o snort-2.9.13.tar.gz
$ rpmbuild -tb --clean snort-2.9.13.tar.gz
$ sudo yum localinstall ~/rpmbuild/RPMS/x86_64/snort-openappid-2.9.13-1.x86_64.rpm

※rpmbuildは実行環境によりますが数分かかります。

snortの設定等は次のサイトを参考にしてください

不正アクセス検知システム導入(Snort+SnortSnarf+Oinkmaster)

使用せずに転がっている古いPC（32bit CPU）があったのでSnortを導入

1. 環境

CentOS6.10（i686）をMinimalでインストール
Kernel Version : 2.6.32-754.el6.i686
※インストールイメージからインストール後Updateのみ実施

2. インストール

2-1. epelの導入

# yum install epel-release
# sed -i 's/enabled=1/enabled=0/g' /etc/yum.repos.d/epel.repo

私はデフォルトで無効にしています。

2-2. 必要なライブラリのインストール

$ sudo yum install wget rpm-build autoconf automake pcre-devel libpcap-devel gcc flex bison zlib-devel openssl-devel gettext gcc-c++ git
$ sudo yum --enablerepo=epel install libdnet-devel luajit luajit-devel

tarballで配布されているソースコードパッケージからrpmファイルを生成するためにcheckinstallを導入します。（daq-2.0.6.tar.gzにはspecファイルが含まれていない）
また、epelリポジトリに daq のパッケージが存在しますが、必要なファイルが足りず後の snort のビルドが行えないので注意

$ git clone http://checkinstall.izto.org/checkinstall.git
$ cd checkinstall

※参考：checkinstallをインストールしてrpmパッケージを作成してみた

そのままだとパッケージ作成時にエラーで落ちるため checkinstall.in ファイルを次のように修正

$ diff -u checkinstall.in.org checkinstall.in
--- checkinstall.in.org 2019-06-22 08:07:20.144490509 +0900
+++ checkinstall.in     2019-06-22 08:07:32.168331040 +0900
@@ -2428,8 +2428,6 @@
 BuildRoot: $BROOTPATH
 Provides:  $PROVIDES
 Requires:  $REQUIRES,/bin/sh
-Recommends: $RECOMMENDS
-Suggests:  $SUGGESTS
 
 %description
 EOF

$ make
$ sudo make install
$ su -
# wget https://www.snort.org/downloads/snort/daq-2.0.6.tar.gz
# tar zxvf daq-2.0.6.tar.gz
# cd daq-2.0.6
# ./configure
# checkinstall
# yum localinstall /root/rpmbuild/RPMS/i386/daq-2.0.6-1.i386.rpm
# exit
$

yum localinstall 時に 「installing package daq-2.0.6-1.i386 needs 4KB on the /selinux filesystem」 というエラーが発生した場合は /usr/local/lib/checkinstall/checkinstallrc ファイルを次のように修正

$ diff -u /usr/local/lib/checkinstall/checkinstallrc.org /usr/local/lib/checkinstall/checkinstallrc
--- /usr/local/lib/checkinstall/checkinstallrc.org      2019-06-22 08:23:58.968939148 +0900
+++ /usr/local/lib/checkinstall/checkinstallrc  2019-06-22 08:24:11.123783072 +0900
@@ -117,7 +117,7 @@
 NEW_SLACK=1
 
 # Comma delimited list of files/directories to be ignored
-EXCLUDE=""
+EXCLUDE="/selinux"
 
 # Accept default values for all questions?
 ACCEPT_DEFAULT=0

2-3. snort のビルド＆インストール

こちらの snort-2.9.13.tar.gz には spec ファイルが存在するので rpmbuild でビルド可能

$ wget https://www.snort.org/downloads/snort/snort-2.9.13.tar.gz
$ rpmbuild -tb --clean snort-2.9.13.tar.gz
$ sudo yum localinstall ~/rpmbuild/RPMS/i686/snort-openappid-2.9.13-1.i686.rpm

※rpmbuildは実行環境によりますが数分かかります。

snortの設定等は次のサイトを参考にしてください

不正アクセス検知システム導入(Snort+SnortSnarf+Oinkmaster)

以前にも導入記録を残しているが（CentOS7(Ver:7.5)にTensorFlow(Ver:1.8.0)導入）、
時間が経過してバージョンが上がり、以前の手順では導入できなかったので再度まとめる。

※前提としてCUDA（Version 10.1）がインストール済みのこと

【目次】

1. 環境
2. Pythonのインストール(pyenv + Anaconda)
3. cuDNNのインストール
4. Bazelのインストール
5. TensorFlowのインストトール

１．環境

• OS : CentOS 7.6
• CUDA : 10.1
• cuDNN : 7.5
• Bazel : 1.19.2
• TensorFlow : 1.13.1
• Python : 3.6.0

２．Pythonのインストール

下記サイトの「pyenvのインストール」〜「Pythonのインストール」までを実施

CentOS7にTensorFlowをインストールする方法

３．cuDNNのインストール

これをしないとビルド時にエラーとなるので導入

下記のページの「Download cuDNN」からダウンロードする。
今回は「Download cuDNN v7.5.0 (Feb 25, 2019), for CUDA 10.1」を選択した。
※ダウンロードするためにはメンバーシップへの参加が必要です。

https://developer.nvidia.com/cudnn

ダウンロードしたファイル（cudnn-10.1-linux-x64-v7.5.0.56.tgz）を展開して配置する。

$ tar zxvf cudnn-10.1-linux-x64-v7.5.0.56.tgz
cuda/include/cudnn.h
cuda/NVIDIA_SLA_cuDNN_Support.txt
cuda/lib64/libcudnn.so
cuda/lib64/libcudnn.so.7
cuda/lib64/libcudnn.so.7.5.0
cuda/lib64/libcudnn_static.a
$ sudo cp ./cuda/include/* /usr/local/cuda-10.1/include/
$ sudo cp ./cuda/lib64/* /usr/local/cuda-10.1/lib64/

— 2019/05/24 追記 —
上記の方法だとldconfigを実行すると次の警告が発生するため、修正する。
ldconfig: /usr/local/cuda-10.1/targets/x86_64-linux/lib/libcudnn.so.7 はシンボリックリンクではありません
以下、修正方法。修正後にldconfigを実行して警告がでなければOK

$ cd /usr/local/cuda-10.1/targets/x86_64-linux/lib
$ sudo rm libcudnn.so.7 libcudnn.so
$ sudo ln -s libcudnn.so.7.5.0 libcudnn.so.7
$ sudo ln -s libcudnn.so.7 libcudnn.so

———————-

４．Bazelのインストール

今回はリポジトリからのインストールを行わない。（リポジトリに存在するバージョンが新しすぎるため）
下記のページから「bazel-0.19.2-installer-linux-x86_64.sh」をダウンロードする。（結構時間がかかりました）

https://github.com/bazelbuild/bazel/releases

Bazelインストール

# bash bazel-0.19.2-installer-linux-x86_64.sh 
Bazel installer
---------------

Bazel is bundled with software licensed under the GPLv2 with Classpath exception.
You can find the sources next to the installer on our release page:
   https://github.com/bazelbuild/bazel/releases

# Release 0.19.2 (2018-11-19)

Baseline: ac880418885061d1039ad6b3d8c28949782e02d6

Cherry picks:

   + 9bc3b20053a8b99bf2c4a31323a7f96fabb9f1ec:
     Fix the "nojava" platform and enable full presubmit checks for
     the various JDK platforms now that we have enough GCE resources.
   + 54c2572a8cabaf2b29e58abe9f04327314caa6a0:
     Add openjdk_linux_archive java_toolchain for nojava platform.
   + 20bfdc67dc1fc32ffebbda7088ba49ee17e3e182:
     Automated rollback of commit
     19a401c38e30ebc0879925a5caedcbe43de0028f.
   + 914b4ce14624171a97ff8b41f9202058f10d15b2:
     Windows: Fix Precondition check for addDynamicInputLinkOptions
   + 83d406b7da32d1b1f6dd02eae2fe98582a4556fd:
     Windows, test-setup.sh: Setting RUNFILES_MANIFEST_FILE only when
     it exists.
   + e025726006236520f7e91e196b9e7f139e0af5f4:
     Update turbine
   + 5f312dd1678878fb7563eae0cd184f2270346352:
     Fix event id for action_completed BEP events
   + f0c844c77a2406518c4e75c49188390d5e281d3d:
     Release 0.19.0 (2018-10-29)
   + c3fb1db9e4e817e8a911f5b347b30f2674a82f7c:
     Do not use CROSSTOOL to select cc_toolchain
   + 8e280838e8896a6b5eb5421fda435b96b6f8de60:
     Windows Add tests for msys gcc toolchain and mingw gcc toolchain
   + fd52341505e725487c6bc6dfbe6b5e081aa037da:
     update bazel-toolchains pin to latest release Part of changes to
     allow bazelci to use 0.19.0 configs. RBE toolchain configs at or
     before 0.17.0 are not compatible with bazel 0.19.0 or above.
   + eb2af0f699350ad187048bf814a95af23f562c77:
     Release 0.19.1 (2018-11-12)
   + 6bc452874ddff69cbf7f66186238032283f1195f:
     Also update cc_toolchain.toolchain_identifier when
     CC_TOOLCHAIN_NAME is set
   + f7e5aef145c33968f658eb2260e25630dc41cc67:
     Add cc_toolchain targets for the new entries in the default
     cc_toolchain_suite.
   + 683c302129b66a8999f986be5ae7e642707e978c:
     Read the CROSSTOOL from the package of the current cc_toolchain,
     not from --crosstool_top

- Fixes regression #6662, by fixing tools/cpp/BUILD
- Fixes regression #6665, by setting the toolchain identifier.
- CROSSTOOL file is now read from the package of cc_toolchain, not from the
  package of cc_toolchain_suite. This is not expected to break anybody since
  cc_toolchain_suite and cc_toolchain are commonly in the same package.

## Build informations
   - [Commit](https://github.com/bazelbuild/bazel/commit/6d6633a)
Uncompressing.......

Bazel is now installed!

Make sure you have "/usr/local/bin" in your path. You can also activate bash
completion by adding the following line to your ~/.bashrc:
  source /usr/local/lib/bazel/bin/bazel-complete.bash

See http://bazel.build/docs/getting-started.html to start a new project!
$ echo "source /usr/local/lib/bazel/bin/bazel-complete.bash" >> ~/.bashrc

５．TensorFlowのインストール

ビルド前の準備

$ sudo ln -s /usr/local/cuda/include/crt/math_functions.hpp /usr/local/cuda/include/math_functions.hpp

$ sudo ln -s /usr/lib64/libcublas.so.10.1.0.105 /usr/local/cuda-10.1/lib64/libcublas.so.10.1.0.105
$ sudo ln -s /usr/local/cuda-10.1/lib64/libcublas.so.10.1.0.105 /usr/local/cuda-10.1/lib64/libcublas.so.10.1
$ sudo ln -s /usr/local/cuda-10.1/lib64/libcublas.so.10.1 /usr/local/cuda-10.1/lib64/libcublas.so
$ sudo ln -s /usr/local/cuda-10.1/targets/x86_64-linux/lib/libcusolver.so.10.1.105 /usr/local/cuda-10.1/lib64/libcusolver.so.10.1
$ sudo ln -s /usr/local/cuda-10.1/targets/x86_64-linux/lib/libcurand.so.10.1.105 /usr/local/cuda-10.1/lib64/libcurand.so.10.1
$ sudo ln -s /usr/local/cuda-10.1/targets/x86_64-linux/lib/libcufft.so.10.1.105 /usr/local/cuda-10.1/lib64/libcufft.so.10.1

ビルド開始 ※結構時間かかります…

$ git clone https://github.com/tensorflow/tensorflow.git
$ cd tensorflow
$ git checkout refs/tags/v1.13.1
$ ./configure
# 必要に応じてYes Noを選択
# 今回はCUDAをYesにしてバージョンを10.1に
# また、cuDNN に7.5を指定した
WARNING: Running Bazel server needs to be killed, because the startup options are different.
WARNING: --batch mode is deprecated. Please instead explicitly shut down your Bazel server using the command "bazel shutdown".
You have bazel 0.19.2 installed.
Please specify the location of python. [Default is /home/yuya/.pyenv/versions/anaconda3-4.3.0/bin/python]:             


Found possible Python library paths:
  /home/yuya/.pyenv/versions/anaconda3-4.3.0/lib/python3.6/site-packages
Please input the desired Python library path to use.  Default is [/home/yuya/.pyenv/versions/anaconda3-4.3.0/lib/python3.6/site-packages]

Do you wish to build TensorFlow with XLA JIT support? [Y/n]: 
XLA JIT support will be enabled for TensorFlow.

Do you wish to build TensorFlow with OpenCL SYCL support? [y/N]: 
No OpenCL SYCL support will be enabled for TensorFlow.

Do you wish to build TensorFlow with ROCm support? [y/N]: 
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]: y
CUDA support will be enabled for TensorFlow.

Please specify the CUDA SDK version you want to use. [Leave empty to default to CUDA 10.0]: 10.1


Please specify the location where CUDA 10.1 toolkit is installed. Refer to README.md for more details. [Default is /usr/local/cuda]: 


Please specify the cuDNN version you want to use. [Leave empty to default to cuDNN 7]: 7.5


Please specify the location where cuDNN 7 library is installed. Refer to README.md for more details. [Default is /usr/local/cuda]: 


Do you wish to build TensorFlow with TensorRT support? [y/N]: 
No TensorRT support will be enabled for TensorFlow.

Please specify the locally installed NCCL version you want to use. [Default is to use https://github.com/nvidia/nccl]: 


Please specify a list of comma-separated Cuda compute capabilities you want to build with.
You can find the compute capability of your device at: https://developer.nvidia.com/cuda-gpus.
Please note that each additional compute capability significantly increases your build time and binary size. [Default is: 6.1]: 


Do you want to use clang as CUDA compiler? [y/N]: 
nvcc will be used as CUDA compiler.

Please specify which gcc should be used by nvcc as the host compiler. [Default is /usr/bin/gcc]: 


Do you wish to build TensorFlow with MPI support? [y/N]: 
No MPI support will be enabled for TensorFlow.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native -Wno-sign-compare]: 


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: 
Not configuring the WORKSPACE for Android builds.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
	--config=mkl         	# Build with MKL support.
	--config=monolithic  	# Config for mostly static monolithic build.
	--config=gdr         	# Build with GDR support.
	--config=verbs       	# Build with libverbs support.
	--config=ngraph      	# Build with Intel nGraph support.
	--config=dynamic_kernels	# (Experimental) Build kernels into separate shared objects.
Preconfigured Bazel build configs to DISABLE default on features:
	--config=noaws       	# Disable AWS S3 filesystem support.
	--config=nogcp       	# Disable GCP support.
	--config=nohdfs      	# Disable HDFS support.
	--config=noignite    	# Disable Apacha Ignite support.
	--config=nokafka     	# Disable Apache Kafka support.
	--config=nonccl      	# Disable NVIDIA NCCL support.
Configuration finished
$ bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package

インストールパッケージを生成
$ bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
インストール

$ source activate tensorflow
$ pip install /tmp/tensorflow_pkg/tensorflow-1.13.1-cp36-cp36m-linux_x86_64.whl

動作チェック

$ cd ~/
$ python
Python 3.6.0 |Continuum Analytics, Inc.| (default, Dec 23 2016, 12:22:00) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-1)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
>>> hello = tf.constant('Hello, TensorFlow!')
>>> sess = tf.Session()
2019-03-24 11:58:58.077953: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:998] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2019-03-24 11:58:58.081272: I tensorflow/compiler/xla/service/service.cc:150] XLA service 0x3623d70 executing computations on platform CUDA. Devices:
2019-03-24 11:58:58.081300: I tensorflow/compiler/xla/service/service.cc:158]   StreamExecutor device (0): GeForce GTX 1050 Ti, Compute Capability 6.1
2019-03-24 11:58:58.084051: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 3200050000 Hz
2019-03-24 11:58:58.084286: I tensorflow/compiler/xla/service/service.cc:150] XLA service 0x368bfa0 executing computations on platform Host. Devices:
2019-03-24 11:58:58.084308: I tensorflow/compiler/xla/service/service.cc:158]   StreamExecutor device (0): <undefined>, <undefined>
2019-03-24 11:58:58.084948: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1433] Found device 0 with properties: 
name: GeForce GTX 1050 Ti major: 6 minor: 1 memoryClockRate(GHz): 1.392
pciBusID: 0000:06:00.0
totalMemory: 3.95GiB freeMemory: 3.89GiB
2019-03-24 11:58:58.084972: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1512] Adding visible gpu devices: 0
2019-03-24 11:58:58.088318: I tensorflow/core/common_runtime/gpu/gpu_device.cc:984] Device interconnect StreamExecutor with strength 1 edge matrix:
2019-03-24 11:58:58.088342: I tensorflow/core/common_runtime/gpu/gpu_device.cc:990]      0 
2019-03-24 11:58:58.088350: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1003] 0:   N 
2019-03-24 11:58:58.088869: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1115] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 3687 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1050 Ti, pci bus id: 0000:06:00.0, compute capability: 6.1)
>>> print(sess.run(hello))
b'Hello, TensorFlow!'

以上

 

参考

TensorFlow Build from source

need guide to build with CUDA 10.1

TensorflowをCentOS7にオフライン環境でインストールする

 

KVM上で動作するWinodws7からのハードディスク読み書き性能が設定の違いによりどのように変わるか調査した。

パラメータは、下記の２つの設定を変えて CrystalDiskMark6 で計測した。ちなみに使用しているストレージはホストOSに接続しているHDDを利用している。

1. ディスクバス
   ・IDE
   ・SATA
   ・VirtIO
2. キャッシュモード
   ・default
   ・none

結果は以下の通り。

	ディスクキャッシュ
ディスクバス	none	default
IDE
SATA
VirtIO

キャッシュを利用しない場合はどのディスクバスを利用してもほとんど誤差くらいの違いしか現れなかったが、キャッシュを利用する場合はダントツでVirtIOが早いことが分かった。ライブマイグレーションを利用するならキャッシュモードはnoneにしておくほうが良いが、普通に使用する分にはキャッシュを利用するほうが良さそう。

当初はここまでの予定だったが、キャッシュモードの細かい違いによる挙動についても気になったので、次の条件でも比較することにした。（IDEとSATAは変化なさそうなのでIDEのみ計測）

1. ディスクバス
   ・IDE
   ・VirtIO
2. キャッシュモード
   ・default
   ・none
   ・writethrough
   ・writeback
   ・directsync
   ・unsafe

結果は以下の通り。

	ディスクキャッシュ
ディスクバス	default	none	write through	write back	direct sync	unsafe
IDE
VirtIO

IDEのwritethroughでこんなに速度が出ているのが不思議…（再度やっても似た結果でした）

以上

以前仕事で使用していたPCではKVM上で動作しているWindows7でCPU数が2以上認識されていたのに自宅でやってみたら何故か2個しか認識されなかった。少し悩んだのでメモ

【2個しか認識されない】

・設定(virt-manager)

・タスクマネージャー

このように、設定では8個割り当てているのだが、何故か2個しか認識されなかった。

少し調べてみたらこんな記事を発見！

KVM上でのWindows7に割り当てるCPUは2まで！

ここで気づいたのだが、KVMでは1つのvcpuが1つの物理cpuとなっている。つまり、今回の設定ではマザーボードにCPUソケットが8個あるようなもので、1つの物理cpuに8コアという構成になっていなかった。Windows7(Ultimate)では対応しているCPUソケットの数は2までとなっているため、認識されなかった。試してはいないが、Windows8やWindows10なども同じような状況になるだろう。

Windows7に2コア以上を割り当てるためには下記の設定を行う

【2個以上認識される】

・設定(virt-manager)

 

トポロジを手動設定にしてソケット数が2以下になるようにして、（ソケット数）×（コア数）×（スレッド数）が割り当てたい数になるようにする。そして、現在の割り当ても割り当てたい数になっていることを確認する。

・タスクマネージャー

無事認識されました。

以上

プライベート認証局を利用してSPICEサーバのTLS暗号化設定方法について日本語で説明しているサイトが少ないのでまとめておく。ついでに virt-manager のTLS接続設定も行う。

目次

1. 環境
2. うまく行かなかった…
3. プライベート認証局の構築とサーバ証明書の発行
4. SPICEサーバのTLS暗号化設定
5. virt-manager のTLS接続設定
6. おまけ（クライアント証明書を失効させてみる）

１．環境

CentOS：7.6.1810（Kernel：3.10.0）
libvirt：4.5.0
qemu-kvm：2.12.0

２．うまく行かなかった…

初歩的なミスです

下記のサイトを参考にして設定したが、remote-viewer を利用して接続するときに証明書の検証に失敗して接続できなかった。

参考にしたサイト
[ArchWiki]QEMU – 7.2.1.2 TLS 暗号化

発生したエラー

■remote-viewer 証明書検証失敗

$ remote-viewer --spice-ca-file=./ca-cert.pem spice://testkvm.alprovs.com?tls-port=5900 --spice-secure-channels=all

(remote-viewer:17375): Spice-WARNING **: 10:20:02.208: ssl_verify.c:479:openssl_verify: Error in server certificate verification: self signed certificate (num=18:depth0:/C=IL/L=Raanana/O=Red Hat/CN=testkvm.alprovs.com)

(remote-viewer:17375): GSpice-WARNING **: 10:20:02.208: main-1:0: SSL_connect: error:00000001:lib(0):func(0):reason(1)

【原因】
　認証局の証明書とサーバ証明書の Subject に全く同じものを指定していたから（寝ぼけてたのかね…笑）。
なんで！？と思った方はサーバ証明書の検証の仕組みを調べてください。

# openssl x509 -noout -subject -in ca-cert.pem 
subject= /C=IL/L=Raanana/O=Red Hat/CN=testkvm.alprovs.com
# openssl x509 -noout -subject -in server-cert.pem 
subject= /C=IL/L=Raanana/O=Red Hat/CN=testkvm.alprovs.com

【修正後】
　以下のようにサーバ証明書のCNにはホスト名、認証局の証明書のCNにはサーバ証明書とは異なるものを指定する

# openssl x509 -noout -subject -in ca-cert.pem 
subject= /C=IL/L=Raanana/O=Red Hat/CN=My CA
# openssl x509 -noout -subject -in server-cert.pem 
subject= /C=IL/L=Raanana/O=Red Hat/CN=testkvm.alprovs.com

　そうすると接続できます。
　※一度仮想マシンの電源を一度落としてから起動する必要があります。再起動ではダメです。

３．プライベート認証局の構築とサーバ証明書の発行

　くだらないことに時間を取ってしまったので、せっかくなら virt-manager もTLS接続できるようにしようと思った。
virt-manager をTLS接続するにはクライアント証明書も必要となって来るので、プライベート認証局を２のような簡易的な方法ではなくもうちょっとしっかりした方法で構築する。プライベート認証局を構築するのに以下のサイトを参考にした。

参考サイト
[Qiita]プライベート認証局(CA)にてクライアント証明書の発行

１．必要なパッケージのインストール

# yum install openssl

２．プライベート認証局の構築
　・有効期限が10年になるように /etc/pki/tls/misc/CA と /etc/pki/tls/openssl.cnf を変更する

■/etc/pki/tls/misc/CA 差分

# cp -p /etc/pki/tls/misc/CA /etc/pki/tls/misc/CA.org
# vi /etc/pki/tls/misc/CA ← 編集内容は次の差分を参照
# diff -u /etc/pki/tls/misc/CA.org /etc/pki/tls/misc/CA
--- /etc/pki/tls/misc/CA.org    2019-03-10 14:38:59.303623185 +0900
+++ /etc/pki/tls/misc/CA        2019-03-10 14:47:21.189765355 +0900
@@ -60,8 +60,8 @@
 
 if [ -z "$OPENSSL" ]; then OPENSSL=openssl; fi
 
-if [ -z "$DAYS" ] ; then DAYS="-days 365" ; fi # 1 year
-CADAYS="-days 1095"    # 3 years
+if [ -z "$DAYS" ] ; then DAYS="-days 3650" ; fi        # 10 year
+CADAYS="-days 3650"    # 10 years
 REQ="$OPENSSL req $SSLEAY_CONFIG"
 CA="$OPENSSL ca $SSLEAY_CONFIG"
 VERIFY="$OPENSSL verify"

■/etc/pki/tls/openssl.cnf 差分

# cp -p /etc/pki/tls/openssl.cnf /etc/pki/tls/openssl.cnf.org
# vi /etc/pki/tls/openssl.cnf ← 編集内容は次の差分を参照
# diff -u /etc/pki/tls/openssl.cnf.org /etc/pki/tls/openssl.cnf
--- /etc/pki/tls/openssl.cnf.org        2019-03-10 14:54:17.857436143 +0900
+++ /etc/pki/tls/openssl.cnf    2019-03-10 14:59:40.984478950 +0900
@@ -70,7 +70,7 @@
 # crlnumber must also be commented out to leave a V1 CRL.
 # crl_extensions       = crl_ext
 
-default_days   = 365                   # how long to certify for
+default_days   = 3650                  # how long to certify for
 default_crl_days= 30                   # how long before next CRL
 default_md     = sha256                # use SHA-256 by default
 preserve       = no                    # keep passed DN ordering
@@ -127,25 +127,25 @@
 
 [ req_distinguished_name ]
 countryName                    = Country Name (2 letter code)
-countryName_default            = XX
+countryName_default            = JP
 countryName_min                        = 2
 countryName_max                        = 2
 
 stateOrProvinceName            = State or Province Name (full name)
-#stateOrProvinceName_default   = Default Province
+stateOrProvinceName_default    = Tokyo
 
 localityName                   = Locality Name (eg, city)
-localityName_default           = Default City
+localityName_default           = Chiyoda
 
 0.organizationName             = Organization Name (eg, company)
-0.organizationName_default     = Default Company Ltd
+0.organizationName_default     = hogehoge Company Ltd
 
 # we can do this but it is not needed normally :-)
 #1.organizationName            = Second Organization Name (eg, company)
 #1.organizationName_default    = World Wide Web Pty Ltd
 
 organizationalUnitName         = Organizational Unit Name (eg, section)
-#organizationalUnitName_default        =
+organizationalUnitName_default = hogehoge
 
 commonName                     = Common Name (eg, your name or your server\'s hostname)
 commonName_max                 = 64

　・認証局の証明書を作成

■認証局用のopenssl設定ファイル

# cp -p /etc/pki/tls/openssl.cnf /etc/pki/tls/openssl-ca.cnf
# vi /etc/pki/tls/openssl-ca.cnf ← 編集内容は次の差分を参照
# diff -u /etc/pki/tls/openssl.cnf /etc/pki/tls/openssl-ca.cnf
--- /etc/pki/tls/openssl.cnf    2019-03-10 14:59:40.984478950 +0900
+++ /etc/pki/tls/openssl-ca.cnf 2019-03-10 15:07:50.990630381 +0900
@@ -169,7 +169,7 @@
 # This goes against PKIX guidelines but some CAs do it and some software
 # requires this to avoid interpreting an end user certificate as a CA.
 
-basicConstraints=CA:FALSE
+basicConstraints=CA:TRUE
 
 # Here are some examples of the usage of nsCertType. If it is omitted
 # the certificate can be used for anything *except* object signing.
@@ -247,7 +247,7 @@
 # keyUsage = cRLSign, keyCertSign
 
 # Some might want this also
-# nsCertType = sslCA, emailCA
+nsCertType = sslCA, emailCA
 
 # Include email address in subject alt name: another PKIX recommendation
 # subjectAltName=email:copy

■プライベート認証局のキーと証明書の作成

# cd /etc/pki/tls/
# SSLEAY_CONFIG="-config /etc/pki/tls/openssl-ca.cnf" /etc/pki/tls/misc/CA -newca
CA certificate filename (or enter to create)
 ← 空Enter
Making CA certificate ...
Generating a 2048 bit RSA private key
..................................................................+++
...+++
writing new private key to '/etc/pki/CA/private/./cakey.pem'
Enter PEM pass phrase: ← パスワード①
Verifying - Enter PEM pass phrase: ← パスワード①
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [JP]: ← 任意
State or Province Name (full name) [Tokyo]: ← 任意
Locality Name (eg, city) [Chiyoda]: ← 任意
Organization Name (eg, company) [hogehoge Company Ltd]: ← 任意
Organizational Unit Name (eg, section) [hogehoge]: ← 任意
Common Name (eg, your name or your server's hostname) []:My Private CA ← 任意の値を入力
Email Address []: ← 任意

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []: ← 空Enter
An optional company name []: ← 空Enter
Using configuration from /etc/pki/tls/openssl-ca.cnf
Enter pass phrase for /etc/pki/CA/private/./cakey.pem: ← パスワード①
Check that the request matches the signature
Signature ok
Certificate Details:
        Serial Number:
            ed:f0:4b:3a:38:3f:26:6e
        Validity
            Not Before: Mar 10 06:13:08 2019 GMT
            Not After : Mar  7 06:13:08 2029 GMT
        Subject:
            countryName               = JP
            stateOrProvinceName       = Tokyo
            organizationName          = hogehoge Company Ltd
            organizationalUnitName    = hogehoge
            commonName                = My Private CA
        X509v3 extensions:
            X509v3 Subject Key Identifier: 
                AD:E0:9E:BC:CC:79:E3:53:B7:40:A6:06:89:19:41:6D:D7:DE:5C:21
            X509v3 Authority Key Identifier: 
                keyid:AD:E0:9E:BC:CC:79:E3:53:B7:40:A6:06:89:19:41:6D:D7:DE:5C:21

            X509v3 Basic Constraints: 
                CA:TRUE
Certificate is to be certified until Mar  7 06:13:08 2029 GMT (3650 days)

Write out database with 1 new entries
Data Base Updated

■作成されるファイル（認証局構築）

/etc/pki/CA/cacert.pem        ← 認証局の証明書
/etc/pki/CA/careq.pem         ← 認証局の証明書署名要求（認証局の公開鍵）
/etc/pki/CA/index.txt         ← 証明書管理情報
/etc/pki/CA/index.txt.attr    ← 属性
/etc/pki/CA/index.txt.old     ← バックアップ
/etc/pki/CA/serial            ← シリアル
/etc/pki/CA/private/cakey.pem ← 認証局の秘密鍵

３．サーバ証明書の発行

■サーバ証明書用openssl設定ファイル作成

# cp -p /etc/pki/tls/openssl.cnf /etc/pki/tls/openssl-server.cnf
# vi /etc/pki/tls/openssl-server.cnf
# diff -u /etc/pki/tls/openssl.cnf /etc/pki/tls/openssl-server.cnf
--- /etc/pki/tls/openssl.cnf    2019-03-10 14:59:40.984478950 +0900
+++ /etc/pki/tls/openssl-server.cnf     2019-03-10 15:31:30.218333055 +0900
@@ -175,7 +175,7 @@
 # the certificate can be used for anything *except* object signing.
 
 # This is OK for an SSL server.
-# nsCertType                   = server
+nsCertType                     = server
 
 # For an object signing certificate this would be used.
 # nsCertType = objsign

■サーバ証明書の証明書署名要求を作成

# cd /etc/pki/tls/
# SSLEAY_CONFIG="-config /etc/pki/tls/openssl-server.cnf" /etc/pki/tls/misc/CA -newreq
Generating a 2048 bit RSA private key
......................................+++
..........................................+++
writing new private key to 'newkey.pem'
Enter PEM pass phrase: ← パスワード②
Verifying - Enter PEM pass phrase: ← パスワード②
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [JP]: ← 任意
State or Province Name (full name) [Tokyo]: ← 任意
Locality Name (eg, city) [Chiyoda]: ← 任意
Organization Name (eg, company) [hogehoge Company Ltd]: ← 任意
Organizational Unit Name (eg, section) [hogehoge]: ← 任意
Common Name (eg, your name or your server's hostname) []:testkvm.alprovs.com ← 証明したサーバのドメイン or IP
Email Address []: ← 任意

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []: ← 空Enter
An optional company name []: ← 空Enter
Request is in newreq.pem, private key is in newkey.pem

■サーバ証明書にプライベート認証局の署名を入れる

# cd /etc/pki/tls/
# SSLEAY_CONFIG="-config /etc/pki/tls/openssl-server.cnf" /etc/pki/tls/misc/CA -sign
Using configuration from /etc/pki/tls/openssl-server.cnf
Enter pass phrase for /etc/pki/CA/private/cakey.pem: ← パスワード②
Check that the request matches the signature
Signature ok
Certificate Details:
        Serial Number:
            ed:f0:4b:3a:38:3f:26:6f
        Validity
            Not Before: Mar 10 06:40:55 2019 GMT
            Not After : Mar  7 06:40:55 2029 GMT
        Subject:
            countryName               = JP
            stateOrProvinceName       = Tokyo
            localityName              = Chiyoda
            organizationName          = hogehoge Company Ltd
            organizationalUnitName    = hogehoge
            commonName                = testkvm.alprovs.com
        X509v3 extensions:
            X509v3 Basic Constraints: 
                CA:FALSE
            Netscape Comment: 
                OpenSSL Generated Certificate
            X509v3 Subject Key Identifier: 
                EC:8C:1A:00:0F:F7:44:B7:65:06:78:9B:E7:32:71:68:81:A8:FA:DC
            X509v3 Authority Key Identifier: 
                keyid:AD:E0:9E:BC:CC:79:E3:53:B7:40:A6:06:89:19:41:6D:D7:DE:5C:21

Certificate is to be certified until Mar  7 06:40:55 2029 GMT (3650 days)
Sign the certificate? [y/n]:y ← yを入力


1 out of 1 certificate requests certified, commit? [y/n]y ← yを入力
Write out database with 1 new entries
Data Base Updated
Certificate:
    Data:
        Version: 3 (0x2)
        Serial Number:
            ed:f0:4b:3a:38:3f:26:6f
    Signature Algorithm: sha256WithRSAEncryption
        Issuer: C=JP, ST=Tokyo, O=hogehoge Company Ltd, OU=hogehoge, CN=My Private CA
        Validity
            Not Before: Mar 10 06:40:55 2019 GMT
            Not After : Mar  7 06:40:55 2029 GMT
        Subject: C=JP, ST=Tokyo, L=Chiyoda, O=hogehoge Company Ltd, OU=hogehoge, CN=testkvm.alprovs.com
        Subject Public Key Info:
            Public Key Algorithm: rsaEncryption
                Public-Key: (2048 bit)
                Modulus:
                    00:a9:2d:37:32:66:2f:b0:db:f6:ea:d3:bd:c0:66:
                    df:02:6a:6c:d7:97:35:ad:59:2f:70:a3:29:58:1f:
                    f7:36:99:77:0d:df:b5:02:1c:81:cd:e7:f5:d5:c6:
                    b1:df:10:46:00:a1:8f:e7:03:08:9c:15:f8:5e:bd:
                    b7:18:d3:65:67:09:e6:83:68:8a:af:53:43:95:f6:
                    99:1c:16:c4:f8:52:6d:83:ea:55:76:cf:1e:ad:c4:
                    90:b6:27:96:1d:1e:d4:ee:44:9d:41:07:33:24:eb:
                    89:03:a3:07:ab:60:64:4e:34:67:67:e2:47:83:f3:
                    a1:8d:d1:ce:0c:c7:a0:28:f7:e0:41:e9:43:29:92:
                    b9:19:74:9f:f8:bb:30:bd:a5:b1:dd:65:94:35:91:
                    9d:aa:e7:2c:11:da:fd:c8:6d:3e:13:ec:8a:c8:e5:
                    bf:b3:f6:52:63:74:b6:a8:7b:cb:c7:16:f1:c5:1a:
                    a5:0e:59:69:f9:b6:85:d5:36:cf:1a:d5:65:66:c8:
                    2a:46:fc:f7:e5:db:c8:d0:da:ce:06:57:c0:ab:67:
                    c2:94:8c:38:2e:1c:bf:63:b2:eb:9e:ba:3f:46:49:
                    19:8b:d2:40:d3:72:b1:f1:cd:1d:d1:c2:d1:38:86:
                    cf:3f:f9:4c:c9:2d:f4:e0:f3:62:30:33:8b:db:d8:
                    23:d9
                Exponent: 65537 (0x10001)
        X509v3 extensions:
            X509v3 Basic Constraints: 
                CA:FALSE
            Netscape Comment: 
                OpenSSL Generated Certificate
            X509v3 Subject Key Identifier: 
                EC:8C:1A:00:0F:F7:44:B7:65:06:78:9B:E7:32:71:68:81:A8:FA:DC
            X509v3 Authority Key Identifier: 
                keyid:AD:E0:9E:BC:CC:79:E3:53:B7:40:A6:06:89:19:41:6D:D7:DE:5C:21

    Signature Algorithm: sha256WithRSAEncryption
         94:8f:a4:84:1a:6f:03:8e:d5:6a:c7:6e:17:d9:66:cd:d3:2f:
         48:9c:81:c9:bb:a8:23:23:47:50:f2:25:5c:5b:12:b6:47:73:
         00:ec:0e:0f:54:07:1b:85:c2:9a:c1:8e:ff:af:13:9f:2b:0d:
         b1:f8:19:af:d9:f2:d0:7e:fc:f7:51:9d:c8:f2:9d:f5:1e:3c:
         70:ee:6b:7f:bb:6c:07:a3:31:f1:34:36:a9:25:ed:bc:ad:d9:
         57:ac:55:05:49:7a:33:5c:8d:4a:e5:7a:6a:f9:5e:8f:03:37:
         d0:bc:f3:7b:73:51:c7:44:eb:2c:b8:e4:3d:b4:8b:c4:84:7f:
         25:12:b7:41:d0:d6:54:6d:6f:bd:b1:f8:84:6f:3c:7e:b9:31:
         10:0b:e0:12:62:87:4e:c4:c3:48:eb:2d:64:5f:48:61:30:ef:
         b6:59:56:2c:d6:9f:42:3f:c1:aa:e1:63:99:06:70:db:c9:b3:
         9b:54:25:e4:1a:04:59:db:e4:48:72:d1:3b:4b:2d:24:ea:21:
         0c:81:34:03:9e:4d:74:6f:4a:3d:2a:97:b1:f1:bd:01:dd:c2:
         56:cc:77:c8:1d:d9:4e:8b:0d:96:3d:3d:c5:42:6e:0d:36:5c:
         07:a8:90:16:91:a7:83:99:2d:07:68:1b:4c:16:05:9a:00:32:
         f3:0b:29:65
-----BEGIN CERTIFICATE-----
MIID5DCCAsygAwIBAgIJAO3wSzo4PyZvMA0GCSqGSIb3DQEBCwUAMGcxCzAJBgNV
BAYTAkpQMQ4wDAYDVQQIDAVUb2t5bzEdMBsGA1UECgwUaG9nZWhvZ2UgQ29tcGFu
eSBMdGQxETAPBgNVBAsMCGhvZ2Vob2dlMRYwFAYDVQQDDA1NeSBQcml2YXRlIENB
MB4XDTE5MDMxMDA2NDA1NVoXDTI5MDMwNzA2NDA1NVowfzELMAkGA1UEBhMCSlAx
DjAMBgNVBAgMBVRva3lvMRAwDgYDVQQHDAdDaGl5b2RhMR0wGwYDVQQKDBRob2dl
aG9nZSBDb21wYW55IEx0ZDERMA8GA1UECwwIaG9nZWhvZ2UxHDAaBgNVBAMME3Rl
c3Rrdm0uYWxwcm92cy5jb20wggEiMA0GCSqGSIb3DQEBAQUAA4IBDwAwggEKAoIB
AQCpLTcyZi+w2/bq073AZt8CamzXlzWtWS9woylYH/c2mXcN37UCHIHN5/XVxrHf
EEYAoY/nAwicFfhevbcY02VnCeaDaIqvU0OV9pkcFsT4Um2D6lV2zx6txJC2J5Yd
HtTuRJ1BBzMk64kDowerYGRONGdn4keD86GN0c4Mx6Ao9+BB6UMpkrkZdJ/4uzC9
pbHdZZQ1kZ2q5ywR2v3IbT4T7IrI5b+z9lJjdLaoe8vHFvHFGqUOWWn5toXVNs8a
1WVmyCpG/Pfl28jQ2s4GV8CrZ8KUjDguHL9jsuueuj9GSRmL0kDTcrHxzR3RwtE4
hs8/+UzJLfTg82IwM4vb2CPZAgMBAAGjezB5MAkGA1UdEwQCMAAwLAYJYIZIAYb4
QgENBB8WHU9wZW5TU0wgR2VuZXJhdGVkIENlcnRpZmljYXRlMB0GA1UdDgQWBBTs
jBoAD/dEt2UGeJvnMnFogaj63DAfBgNVHSMEGDAWgBSt4J68zHnjU7dApgaJGUFt
195cITANBgkqhkiG9w0BAQsFAAOCAQEAlI+khBpvA47VasduF9lmzdMvSJyBybuo
IyNHUPIlXFsStkdzAOwOD1QHG4XCmsGO/68TnysNsfgZr9ny0H7891GdyPKd9R48
cO5rf7tsB6Mx8TQ2qSXtvK3ZV6xVBUl6M1yNSuV6avlejwM30Lzze3NRx0TrLLjk
PbSLxIR/JRK3QdDWVG1vvbH4hG88frkxEAvgEmKHTsTDSOstZF9IYTDvtllWLNaf
Qj/BquFjmQZw28mzm1Ql5BoEWdvkSHLRO0stJOohDIE0A55NdG9KPSqXsfG9Ad3C
Vsx3yB3ZTosNlj09xUJuDTZcB6iQFpGng5ktB2gbTBYFmgAy8wspZQ==
-----END CERTIFICATE-----
Signed certificate is in newcert.pem

■作成されたファイルの確認

/etc/pki/tls/newcert.pem ← サーバ証明書
/etc/pki/tls/newkey.pem  ← サーバ秘密鍵
/etc/pki/tls/newreq.pem  ← サーバ証明書署名要求（サーバ公開鍵）

■作成したファイルの移動

# mv /etc/pki/tls/newcert.pem /etc/pki/CA/certs/testkvm.alprovs.com.crt
# mv /etc/pki/tls/newreq.pem /etc/pki/CA/certs/testkvm.alprovs.com.csr
# サーバ秘密鍵からパスワードを取り除く
# openssl rsa -in /etc/pki/tls/newkey.pem -out /etc/pki/CA/private/testkvm.alprovs.com.key
Enter pass phrase for /etc/pki/tls/newkey.pem: ← パスワード②
writing RSA key

４．クライアント証明書の発行

■クライアント証明書用 openssl 設定ファイルの作成

# cp -p /etc/pki/tls/openssl.cnf /etc/pki/tls/openssl-client.cnf
# vi /etc/pki/tls/openssl-client.cnf
# diff -u /etc/pki/tls/openssl.cnf /etc/pki/tls/openssl-client.cnf
--- /etc/pki/tls/openssl.cnf    2019-03-10 14:59:40.984478950 +0900
+++ /etc/pki/tls/openssl-client.cnf     2019-03-10 15:52:30.265778665 +0900
@@ -184,7 +184,7 @@
 # nsCertType = client, email
 
 # and for everything including object signing:
-# nsCertType = client, email, objsign
+nsCertType = client, email, objsign
 
 # This is typical in keyUsage for a client certificate.
 # keyUsage = nonRepudiation, digitalSignature, keyEncipherment

■クライアント証明書署名要求を作成

# cd /etc/pki/tls/
# SSLEAY_CONFIG="-config /etc/pki/tls/openssl-client.cnf" /etc/pki/tls/misc/CA -newreq
Generating a 2048 bit RSA private key
........................................................................................................+++
..........................+++
writing new private key to 'newkey.pem'
Enter PEM pass phrase: ← パスワード③
Verifying - Enter PEM pass phrase: ← パスワード③
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [JP]: ← 任意
State or Province Name (full name) [Tokyo]: ← 任意
Locality Name (eg, city) [Chiyoda]: ← 任意
Organization Name (eg, company) [hogehoge Company Ltd]: ← 任意
Organizational Unit Name (eg, section) [hogehoge]: ← 任意
Common Name (eg, your name or your server's hostname) []:hoge user ← 任意のユーザ名を入力
Email Address []: ← 任意

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []: ← 空Enter
An optional company name []: ← 空Enter
Request is in newreq.pem, private key is in newkey.pem

■クライアント証明書を作成

# cd /etc/pki/tls/
# SSLEAY_CONFIG="-config /etc/pki/tls/openssl-client.cnf" /etc/pki/tls/misc/CA -sign
Using configuration from /etc/pki/tls/openssl-client.cnf
Enter pass phrase for /etc/pki/CA/private/cakey.pem: ← パスワード③
Check that the request matches the signature
Signature ok
Certificate Details:
        Serial Number:
            ed:f0:4b:3a:38:3f:26:70
        Validity
            Not Before: Mar 10 06:58:22 2019 GMT
            Not After : Mar  7 06:58:22 2029 GMT
        Subject:
            countryName               = JP
            stateOrProvinceName       = Tokyo
            localityName              = Chiyoda
            organizationName          = hogehoge Company Ltd
            organizationalUnitName    = hogehoge
            commonName                = hoge user
        X509v3 extensions:
            X509v3 Basic Constraints: 
                CA:FALSE
            Netscape Comment: 
                OpenSSL Generated Certificate
            X509v3 Subject Key Identifier: 
                FF:E5:B7:D5:69:45:26:3A:D3:B7:81:DC:EC:B0:A5:59:E9:98:66:0C
            X509v3 Authority Key Identifier: 
                keyid:AD:E0:9E:BC:CC:79:E3:53:B7:40:A6:06:89:19:41:6D:D7:DE:5C:21

Certificate is to be certified until Mar  7 06:58:22 2029 GMT (3650 days)
Sign the certificate? [y/n]:y ← yを入力


1 out of 1 certificate requests certified, commit? [y/n]y ← yを入力
Write out database with 1 new entries
Data Base Updated
Certificate:
    Data:
        Version: 3 (0x2)
        Serial Number:
            ed:f0:4b:3a:38:3f:26:70
    Signature Algorithm: sha256WithRSAEncryption
        Issuer: C=JP, ST=Tokyo, O=hogehoge Company Ltd, OU=hogehoge, CN=My Private CA
        Validity
            Not Before: Mar 10 06:58:22 2019 GMT
            Not After : Mar  7 06:58:22 2029 GMT
        Subject: C=JP, ST=Tokyo, L=Chiyoda, O=hogehoge Company Ltd, OU=hogehoge, CN=hoge user
        Subject Public Key Info:
            Public Key Algorithm: rsaEncryption
                Public-Key: (2048 bit)
                Modulus:
                    00:c1:45:64:82:99:6e:75:1c:37:6d:a0:0c:d1:cd:
                    5f:79:80:56:af:72:1b:a2:96:6c:3e:d7:92:2c:03:
                    f9:80:41:c1:6d:7c:b3:8e:13:6f:9f:81:9b:8f:19:
                    80:cc:7f:05:3e:99:2a:c2:ab:cf:a1:3a:53:15:5f:
                    b8:a5:8a:02:80:1c:54:e3:67:28:4b:e1:43:02:d7:
                    73:0f:99:1e:bc:87:7c:50:ae:75:d6:e2:5e:64:fe:
                    09:08:6b:57:19:c9:e1:3c:43:df:82:91:aa:16:c9:
                    ed:64:39:b2:a1:f4:64:22:3c:8d:a2:9f:71:c9:57:
                    1e:4a:ba:24:18:11:eb:3a:e2:f8:ca:cd:33:36:df:
                    1d:a7:30:06:69:3e:fd:1d:e8:75:f3:df:da:95:ac:
                    ac:5f:68:bb:eb:4a:e4:6d:fd:4a:bb:15:a5:bc:8c:
                    63:86:1c:56:2d:a7:73:b6:bd:54:ac:1a:53:e0:21:
                    2d:5a:a4:a9:00:61:3b:a6:2f:cd:91:33:15:0c:2b:
                    7e:64:1c:ed:52:09:f5:c4:f3:64:cb:ae:f3:a0:29:
                    19:86:f8:cd:1d:10:e7:69:57:19:a4:6c:01:3c:5a:
                    de:c5:4d:e1:b0:81:90:91:82:a7:26:9a:88:37:d6:
                    2d:e4:a3:3a:62:85:fb:c7:3f:94:09:ef:95:78:e0:
                    e0:4b
                Exponent: 65537 (0x10001)
        X509v3 extensions:
            X509v3 Basic Constraints: 
                CA:FALSE
            Netscape Comment: 
                OpenSSL Generated Certificate
            X509v3 Subject Key Identifier: 
                FF:E5:B7:D5:69:45:26:3A:D3:B7:81:DC:EC:B0:A5:59:E9:98:66:0C
            X509v3 Authority Key Identifier: 
                keyid:AD:E0:9E:BC:CC:79:E3:53:B7:40:A6:06:89:19:41:6D:D7:DE:5C:21

    Signature Algorithm: sha256WithRSAEncryption
         40:b8:6e:a4:21:a1:cd:f4:aa:25:12:49:af:71:e8:28:fe:38:
         7d:8e:ab:a6:67:a1:de:c8:e1:62:d7:fe:12:a2:3f:4f:da:32:
         2c:50:9f:99:b2:91:40:1d:56:dc:cd:e0:19:27:9d:4f:89:c9:
         f2:6b:5d:58:d7:88:47:84:7f:08:da:bc:b0:7c:a9:08:92:db:
         11:8f:28:6f:35:a3:21:d0:88:bd:1b:50:1d:f5:f6:4e:59:4d:
         62:0c:1d:48:10:f4:d7:4c:46:fd:7b:24:ec:1e:a8:97:1f:70:
         cf:87:d2:4e:19:dc:7e:19:e5:d5:59:e5:f5:b8:8b:40:0c:9e:
         76:20:de:eb:53:0a:44:bc:7a:ae:e6:83:26:82:eb:0c:81:b3:
         1e:12:81:ad:f0:5b:16:ed:9c:0e:49:5d:4f:32:db:aa:a3:a2:
         9f:3d:18:a0:ea:bf:d5:a4:57:1f:3c:45:0c:a1:5d:e3:30:ca:
         96:bd:90:30:c8:f7:66:2c:30:17:d6:7a:f9:f8:fa:91:a7:bd:
         fe:5e:c0:b6:59:37:64:de:cd:a5:36:f3:e1:68:06:6e:3e:22:
         52:a7:4e:d5:12:0e:5b:9b:7e:cb:03:9d:ec:0d:3b:72:ad:7c:
         66:c8:cb:13:ad:14:10:3e:81:f6:f5:12:3b:0a:9f:63:57:8e:
         21:2b:9d:c8
-----BEGIN CERTIFICATE-----
MIID2jCCAsKgAwIBAgIJAO3wSzo4PyZwMA0GCSqGSIb3DQEBCwUAMGcxCzAJBgNV
BAYTAkpQMQ4wDAYDVQQIDAVUb2t5bzEdMBsGA1UECgwUaG9nZWhvZ2UgQ29tcGFu
eSBMdGQxETAPBgNVBAsMCGhvZ2Vob2dlMRYwFAYDVQQDDA1NeSBQcml2YXRlIENB
MB4XDTE5MDMxMDA2NTgyMloXDTI5MDMwNzA2NTgyMlowdTELMAkGA1UEBhMCSlAx
DjAMBgNVBAgMBVRva3lvMRAwDgYDVQQHDAdDaGl5b2RhMR0wGwYDVQQKDBRob2dl
aG9nZSBDb21wYW55IEx0ZDERMA8GA1UECwwIaG9nZWhvZ2UxEjAQBgNVBAMMCWhv
Z2UgdXNlcjCCASIwDQYJKoZIhvcNAQEBBQADggEPADCCAQoCggEBAMFFZIKZbnUc
N22gDNHNX3mAVq9yG6KWbD7XkiwD+YBBwW18s44Tb5+Bm48ZgMx/BT6ZKsKrz6E6
UxVfuKWKAoAcVONnKEvhQwLXcw+ZHryHfFCuddbiXmT+CQhrVxnJ4TxD34KRqhbJ
7WQ5sqH0ZCI8jaKfcclXHkq6JBgR6zri+MrNMzbfHacwBmk+/R3odfPf2pWsrF9o
u+tK5G39SrsVpbyMY4YcVi2nc7a9VKwaU+AhLVqkqQBhO6YvzZEzFQwrfmQc7VIJ
9cTzZMuu86ApGYb4zR0Q52lXGaRsATxa3sVN4bCBkJGCpyaaiDfWLeSjOmKF+8c/
lAnvlXjg4EsCAwEAAaN7MHkwCQYDVR0TBAIwADAsBglghkgBhvhCAQ0EHxYdT3Bl
blNTTCBHZW5lcmF0ZWQgQ2VydGlmaWNhdGUwHQYDVR0OBBYEFP/lt9VpRSY607eB
3OywpVnpmGYMMB8GA1UdIwQYMBaAFK3gnrzMeeNTt0CmBokZQW3X3lwhMA0GCSqG
SIb3DQEBCwUAA4IBAQBAuG6kIaHN9KolEkmvcego/jh9jqumZ6HeyOFi1/4Soj9P
2jIsUJ+ZspFAHVbczeAZJ51Picnya11Y14hHhH8I2rywfKkIktsRjyhvNaMh0Ii9
G1Ad9fZOWU1iDB1IEPTXTEb9eyTsHqiXH3DPh9JOGdx+GeXVWeX1uItADJ52IN7r
UwpEvHqu5oMmgusMgbMeEoGt8FsW7ZwOSV1PMtuqo6KfPRig6r/VpFcfPEUMoV3j
MMqWvZAwyPdmLDAX1nr5+PqRp73+XsC2WTdk3s2lNvPhaAZuPiJSp07VEg5bm37L
A53sDTtyrXxmyMsTrRQQPoH29RI7Cp9jV44hK53I
-----END CERTIFICATE-----
Signed certificate is in newcert.pem

■作成されたファイルの確認

/etc/pki/tls/newcert.pem ← クライアント証明書
/etc/pki/tls/newkey.pem  ← クライアント秘密鍵
/etc/pki/tls/newreq.pem  ← クライアント証明書署名要求

■クライアント証明書をPKCS#12フォーマットに変換

# cd /etc/pki/tls/
# openssl pkcs12 -export -in newcert.pem -inkey newkey.pem -out hoge_user.pfx -name "hoge_user"
Enter pass phrase for newkey.pem: ← パスワード③
Enter Export Password: ← パスワード④
Verifying - Enter Export Password: ← パスワード④

■クライアント証明書の移動

# mkdir -p /etc/pki/CA/client/certs/
# mkdir -p /etc/pki/CA/client/private/

# mv /etc/pki/tls/newcert.pem /etc/pki/CA/client/certs/hoge_user.crt
# mv /etc/pki/tls/newreq.pem /etc/pki/CA/client/private/hoge_user.csr
# mv /etc/pki/tls/newkey.pem /etc/pki/CA/client/private/hoge_user.key
# mv /etc/pki/tls/hoge_user.pfx /etc/pki/CA/client/private/

４．SPICEサーバのTLS暗号化設定

■/etc/libvirt/qemu.conf を編集

# cp -p /etc/libvirt/qemu.conf /etc/libvirt/qemu.conf.org
# vi /etc/libvirt/qemu.conf
# diff -u /etc/libvirt/qemu.conf.org /etc/libvirt/qemu.conf
--- /etc/libvirt/qemu.conf.org  2019-03-10 16:28:59.161484068 +0900
+++ /etc/libvirt/qemu.conf      2019-03-10 16:29:08.899563006 +0900
@@ -161,7 +161,7 @@
 # NB, strong recommendation to enable TLS + x509 certificate
 # verification when allowing public access
 #
-#spice_listen = "0.0.0.0"
+spice_listen = "0.0.0.0"
 
 
 # Enable use of TLS encryption on the SPICE server.
@@ -169,7 +169,7 @@
 # It is necessary to setup CA and issue a server certificate
 # before enabling this.
 #
-#spice_tls = 1
+spice_tls = 1
 
 
 # In order to override the default TLS certificate location for
@@ -178,7 +178,7 @@
 # If the path is not provided, but spice_tls = 1, then the
 # default_tls_x509_cert_dir path will be used.
 #
-#spice_tls_x509_cert_dir = "/etc/pki/libvirt-spice"
+spice_tls_x509_cert_dir = "/etc/pki/libvirt-spice"
 
 
 # Enable this option to have SPICE served over an automatically created

# サービスの再起動
# systemctl restart libvirtd

■サーバ証明書・秘密鍵と認証局の証明書を配置

# cp -p /etc/pki/CA/cacert.pem /etc/pki/libvirt-spice/ca-cert.pem
# cp -p /etc/pki/CA/certs/testkvm.alprovs.com.crt /etc/pki/libvirt-spice/server-cert.pem
# cp -p /etc/pki/CA/private/testkvm.alprovs.com.key /etc/pki/libvirt-spice/server-key.pem

クライアントで認証局の証明書が必要となるのでscpとかでダウンロードする。

■仮想マシンのグラフィックコンソールにTLSで接続

$ remote-viewer --spice-ca-file=./cacert.pem spice://testkvm.alprovs.com?tls-port=5900 --spice-secure-channels=all

５．virt-managerのTLS接続設定

証明書の配置場所はここに書かれている。
・サーバ側の設定

■/etc/sysconfig/libvirtd を編集

# cp -p /etc/sysconfig/libvirtd /etc/sysconfig/libvirtd.org
# vi /etc/sysconfig/libvirtd
# diff -u /etc/sysconfig/libvirtd.org /etc/sysconfig/libvirtd
--- /etc/sysconfig/libvirtd.org 2019-01-30 02:33:56.000000000 +0900
+++ /etc/sysconfig/libvirtd     2019-03-10 17:09:27.277619084 +0900
@@ -6,7 +6,7 @@
 
 # Listen for TCP/IP connections
 # NB. must setup TLS/SSL keys prior to using this
-#LIBVIRTD_ARGS="--listen"
+LIBVIRTD_ARGS="--listen"
 
 # Override Kerberos service keytab for SASL/GSSAPI
 #KRB5_KTNAME=/etc/libvirt/krb5.tab

■/etc/libvirt/libvirtd.conf の編集

# cp -p /etc/libvirt/libvirtd.conf /etc/libvirt/libvirtd.conf.org
# vi /etc/libvirt/libvirtd.conf
# diff -u /etc/libvirt/libvirtd.conf.org /etc/libvirt/libvirtd.conf
--- /etc/libvirt/libvirtd.conf.org      2019-01-30 02:33:56.000000000 +0900
+++ /etc/libvirt/libvirtd.conf  2019-03-10 17:32:58.694964030 +0900
@@ -199,20 +199,20 @@
 
 # Override the default server key file path
 #
-#key_file = "/etc/pki/libvirt/private/serverkey.pem"
+key_file = "/etc/pki/CA/private/testkvm.alprovs.com.key"
 
 # Override the default server certificate file path
 #
-#cert_file = "/etc/pki/libvirt/servercert.pem"
+cert_file = "/etc/pki/CA/certs/testkvm.alprovs.com.crt"
 
 # Override the default CA certificate path
 #
-#ca_file = "/etc/pki/CA/cacert.pem"
+ca_file = "/etc/pki/CA/cacert.pem"
 
 # Specify a certificate revocation list.
 #
 # Defaults to not using a CRL, uncomment to enable it
-#crl_file = "/etc/pki/CA/crl.pem"
+crl_file = "/etc/pki/CA/crl/revoke.crl" ← 証明書の失効情報（利用しない場合はコメントにしておく、利用する場合はおまけを参照）

# サービスの再起動とtlsの通信に利用するポートの開放
# systemctl restart libvirtd
# firewall-cmd --add-service=libvirt-tls --permanent
# firewall-cmd --reload

・クライアント側の設定
　クライアント証明書（PKCS#12）をダウンロードしておく。また認証局の証明書もダウンロードしておくこと。

■PKCS#12形式のファイルからクライアント証明書・秘密鍵を取り出す

$ openssl pkcs12 -in hoge_user.pfx -out hoge_user.enc.key -nocerts -aes256
Enter Import Password: ← パスワード④
MAC verified OK
Enter PEM pass phrase: ← パスワード⑤
Verifying - Enter PEM pass phrase: ← パスワード⑤
$ openssl rsa -in hoge_user.enc.key -out hoge_user.key
Enter pass phrase for hoge_user.enc.key: ← パスワード⑤
writing RSA key
$ openssl pkcs12 -in hoge_user.pfx -clcerts -nokeys -out hoge_user.crt
Enter Import Password: ← パスワード④
MAC verified OK

■取り出したクライアント証明書・秘密鍵を配置する

$ mkdir -p ~/.pki/libvirt/
$ mv hoge_user.key ~/.pki/libvirt/clientkey.pem
$ mv hoge_user.crt ~/.pki/libvirt/clientcert.pem
$ sudo cp cacert.pem /etc/pki/CA/cacert.pem　← 最初 ~/.pki/cacert.pemに配置したがダメだった

・virt-manager からTLSで接続してみる

クライアント証明書を利用しているためユーザ名は不要

無事接続することが出来た。
以上！

６．おまけ（クライアント証明書を失効させてみる）

/etc/pki/CA/crlnumber が存在しない場合、以下のコマンドを実行する。

■/etc/pki/CA/crlnumber が存在しない場合

# echo '00' > /etc/pki/CA/crlnumber

■hoge_user を失効

# openssl ca -gencrl -revoke /etc/pki/CA/client/certs/hoge_user.crt -config /etc/pki/tls/openssl-client.cnf
Using configuration from /etc/pki/tls/openssl-client.cnf
Enter pass phrase for /etc/pki/CA/private/cakey.pem: ← パスワード①
-----BEGIN X509 CRL-----
MIIB3jCBxwIBATANBgkqhkiG9w0BAQsFADBnMQswCQYDVQQGEwJKUDEOMAwGA1UE
CAwFVG9reW8xHTAbBgNVBAoMFGhvZ2Vob2dlIENvbXBhbnkgTHRkMREwDwYDVQQL
DAhob2dlaG9nZTEWMBQGA1UEAwwNTXkgUHJpdmF0ZSBDQRcNMTkwMzEwMDkyNzQy
WhcNMTkwNDA5MDkyNzQyWjAcMBoCCQDt8Es6OD8mbxcNMTkwMzEwMDc0NjU1WqAO
MAwwCgYDVR0UBAMCAQIwDQYJKoZIhvcNAQELBQADggEBACEFVxKF5G63Q+ALfnTg
+S2NHOYk7+DiORbasXggAMnN0wvB0SvZuOg3S8LDdFu2f5ZpWNtD3xq8/RXvptZx
/ffxLLqFXs6MEsI6BVQC2aHzAlk5WN8L2JmEO+LOahiaeNNvL7aquNf4S1bPilma
mUWBxrRntrOa4A/LryRMVCei3Mp+m1jLo5rJs/r3RZaFFQsiKUhg+Jq8xatSMIpZ
8GqUMY5T6pHXNmXW7fM+pAIFH9R8pE8lrx3aih3leomTfSxa4m2On7jwilM6Ar0N
IJmGLZEdDbJAKHZkHAnRyuNZ5ZBaKBAeOL/ZNG7fJcjtbEiB/ySfrxwGRl8W8ZB2
9fI=
-----END X509 CRL-----
Revoking Certificate EDF04B3A383F2670.
Data Base Updated

■失効証明書リストの更新

# openssl ca -gencrl -out /etc/pki/CA/crl/revoke.crl
Using configuration from /etc/pki/tls/openssl.cnf
Enter pass phrase for /etc/pki/CA/private/cakey.pem: ← パスワード①
# 反映するためにサービスを再起動
# systemctl restart libvirtd

・virt-managerから接続
　接続できなくなりました。