Jetson Nano、Jetson Xavier NX 開発者キット tf-pose-estimation on Jetson Platform

【2020年版】NVIDIA Jetson Nano、Jetson Xavier NXの便利スクリプト

# https://github.com/ildoonet/tf-pose-estimation

# Pre-Install Jetson case
sudo apt-get -y install libllvm-7-ocaml-dev libllvm7 llvm-7 llvm-7-dev llvm-7-doc llvm-7-examples llvm-7-runtime
export LLVM_CONFIG=/usr/bin/llvm-config-7

# pip3 install -r requirements.txt
# Failed building wheel for matplotlib
# Failed building wheel for llvmlite
sudo apt-get -y install libfreetype6-dev
sudo apt-get -y install libpng-dev

# Install Clone the repo and install 3rd-party libraries.
cd
git clone https://github.com/ildoonet/tf-pose-estimation --depth 1
cd tf-pose-estimation

# pip3 install -r requirements.txt
# ERROR: scikit-image 0.17.2 has requirement scipy>=1.0.1, but you'll have scipy 0.19.1 which is incompatible.'
pip3 install scipy==1.0.1

# sed -i 's/llvmlite/llvmlite==0.31.0/g' requirements.txt
pip3 install llvmlite==0.31.0

# sed -i 's/numba/numba==0.48.0/g' requirements.txt
pip3 install numba==0.48.0
# Successfully installed llvmlite-0.31.0 numba-0.48.0

# requirements.txt
pip3 install -r requirements.txt

# post-processing for Part-Affinity Fields Map implemented in C++ & SWIG
# Build c++ library for post processing
# https://github.com/ildoonet/tf-pose-estimation/tree/master/tf_pose/pafprocess
cd tf_pose/pafprocess

# -bash: swig: command not found
# Need to install SWIG Simplified Wrapper and Interface Generator
# http://www.swig.org/
sudo apt -y install swig

swig -python -c++ pafprocess.i && python3 setup.py build_ext --inplace
# debconf: delaying package configuration, since apt-utils is not installed
# ↑これは無視しても大丈夫
# ENV DEBCONF_NOWARNINGS yes
# ENV DEBIAN_FRONTEND noninteractive
cd ../..

cd models/graph/cmu
bash download.sh
cd ../../..

# python3 run.py --model=mobilenet_thin --resize=432x368 --image=./images/p1.jpg
python3 run.py --model=mobilenet_thin --image=./images/p1.jpg
python3 run.py --model=mobilenet_thin --image=./images/p2.jpg
python3 run.py --model=mobilenet_thin --image=./images/p3.jpg
python3 run.py --model=mobilenet_thin --image=./images/cat.jpg

run.py
　黄色行が追加、変更の行。

import argparse
import logging
import sys
import time
import os

from tf_pose import common
...
    try:
        import matplotlib.pyplot as plt

        basename = os.path.splitext(os.path.basename(args.image))[0]
        plt.imsave(basename + "_org.png", cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
        # plt.imsave(basename + "_orgr.png", image)

        fig = plt.figure()
        a = fig.add_subplot(2, 2, 1)
...
        plt.colorbar()

        fig.savefig(basename + "_graph.png")
        # plt.savefig('output_graph.png')
        # SSH terminal comment below "plt.show()"
        plt.show()
    except Exception as e:
        logger.warning('matplitlib error, %s' % e)

# diff -u run.py run_mod.py > run_py_diff.patch

# patch -u < run_py_diff.patch
cp run.py run_mod.py
patch -u run_mod.py < run_py_diff.patch
# patching file run_mod.py

--- run.py	2020-07-02 20:44:28.191246781 -0400
+++ run_mod.py	2020-07-02 08:26:13.000000000 -0400
@@ -2,6 +2,7 @@
 import logging
 import sys
 import time
+import os

 from tf_pose import common
 import cv2
@@ -55,6 +56,10 @@
     try:
         import matplotlib.pyplot as plt

+        basename = os.path.splitext(os.path.basename(args.image))[0]
+        plt.imsave(basename + "_org.png", cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
+        # plt.imsave(basename + "_orgr.png", image)
+
         fig = plt.figure()
         a = fig.add_subplot(2, 2, 1)
         a.set_title('Result')
@@ -85,6 +90,10 @@
         # plt.imshow(CocoPose.get_bgimg(inp, target_size=(vectmap.shape[1], vectmap.shape[0])), alpha=0.5)
         plt.imshow(tmp2_even, cmap=plt.cm.gray, alpha=0.5)
         plt.colorbar()
+
+        fig.savefig(basename + "_graph.png")
+        # plt.savefig('output_graph.png')
+        # SSH terminal comment below "plt.show()"
         plt.show()
     except Exception as e:
         logger.warning('matplitlib error, %s' % e)

cmu (trained in 656x368)
mobilenet_thin (trained in 432x368)
mobilenet_v2_large (trained in 432x368)
mobilenet_v2_small (trained in 432x368)

# Test Inference
# You can test the inference feature with a single image.
python3 run.py --model=mobilenet_thin --resize=432x368 --image=./images/p1.jpg
# 動いた

# Realtime Webcam + WebCamera
python3 run_webcam.py --model=mobilenet_thin --resize=432x368 --camera=0
# 動いた

# Apply TensoRT + WebCamera
python3 run_webcam.py --model=mobilenet_thin --resize=432x368 --camera=0 --tensorrt=True
# 動かない
# Traceback (most recent call last):
#   File "run_webcam.py", line 45, in <module>
#     e = TfPoseEstimator(get_graph_path(args.model), target_size=(w, h), trt_bool=str2bool(args.tensorrt))
#   File "/home/jetson/tf-pose-estimation/tf_pose/estimator.py", line 327, in __init__
#     use_calibration=True,
# TypeError: create_inference_graph() got an unexpected keyword argument 'use_calibration'

# remove obsolete "use_calibration" option #501
https://github.com/ildoonet/tf-pose-estimation/pull/501

tf_pose/estimator.py
327行目の
                use_calibration=True,
を削除しても、次に進んだ所で、、、

# Apply TensoRT + WebCamera
python3 run_webcam.py --model=mobilenet_thin --resize=432x368 --camera=0 --tensorrt=True
# 動かない
# 2020-07-03 12:07:13,119 DEBUG finished+
# select timeout
# VIDIOC_DQBUF: Resource temporarily unavailable
# [2020-07-03 12:07:23,457] [TfPoseEstimator-WebCam] [DEBUG] image process+
# 2020-07-03 12:07:23,457 DEBUG image process+
# Traceback (most recent call last):
#   File "run_webcam.py", line 57, in <module>
#     humans = e.inference(image, resize_to_default=(w > 0 and h > 0), upsample_size=args.resize_out_ratio)
#   File "/home/jetson/tf-pose-estimation/tf_pose/estimator.py", line 536, in inference
#     raise Exception('The image is not valid. Please check your image exists.')
# Exception: The image is not valid. Please check your image exists.

# Realtime + Pi Camera
python3 run_webcam.py --model=mobilenet_thin --resize=432x368 --camera=0
# 動かない
# VIDIOC_DQBUF: Resource temporarily unavailable
# Traceback (most recent call last):
#   File "run_webcam.py", line 51, in <module>
#     logger.info('cam image=%dx%d' % (image.shape[1], image.shape[0]))
# AttributeError: 'NoneType' object has no attribute 'shape'

# TensorFlow version 2
# TF-2.1.0

    import tensorflow.contrib.tensorrt as trt
ModuleNotFoundError: No module named 'tensorflow.contrib'

【2020年版】NVIDIA Jetson Nano、Jetson Xavier NXの便利スクリプト

NVIDIA Jetson Xavier NXに電源スイッチ、リセットスイッチ、電源 LEDを増設する方法

【2020年】Jetson Xavier NX 開発者キットが安かったので衝動買いした件、標準販売価格５万円が４万４千円！

Jetson Nano、Xavier NX 開発者キットを電源と USBケーブルだけの接続で最初の初期設定を行なう方法

【2020年版】NVIDIA Jetson Xavier NXの初期設定、最高速で動かす設定、空きメモリを増やす方法等

Jetson Xavier NX 開発者キットに M.2 NVMe SSDを増設する方法

【2020年版】NVIDIA JetPack 4.4 DP Developer Previewで OpenPoseのビルドエラーの対策方法

【2020年版】NVIDIA Jetson用に最新の CMake 3.17.3をビルドしてインストールする方法

Jetson Nano、Jetson Xavier NX 開発者キット TensorFlow on Jetson Platform

NVIDIA Jetson Nano 開発者キットを買ってみた。メモリ容量 4GB LPDDR4 RAM

【2020年版】NVIDIA Jetson Nano JetPackのバージョン情報まとめ、JetPack 4.4は仕様変更の影響が大きい

【2020年版】NVIDIA Jetson Nano対応の FFmpegをビルドする手順

【2020年版】NVIDIA Jetson Nano対応の OpenPoseをビルドする手順

NVIDIA Jetson Nanoで OpenCV 3をビルドしてインストールする方法、NVCaffe等の OpenCV 4未対応を動かす

NVIDIA Jetson Nanoで Visual Studio Code Open Sourceをビルドして実行する

【2020年版】NVIDIA Jetson Nanoで TensorFlowの StyleGANを動かして、顔画像を生成

【2020年版】NVIDIA Jetson Nanoで StyleGANの改良版の StyleGAN2で自然な画像を生成

【2020年版】Jetson Nanoで StyleGANを動かして可愛い美少女のアニメ顔を大量生産する方法

【メモリ8GB】Raspberry Pi 4 Model B 8GBを KSYで最安値で購入。ベンチマークレビュー

【Vulkan】Raspberry Pi 4 Model Bで Vulkanドライバをビルドして 3Dグラフィックのデモを動かす

PIP機能付きの 4K対応の 4入力 1出力の HDMIセレクターを買ってみた、HDMI機器が複数有る場合に便利

EDID保持機能付きの 4K対応の 4入力 2出力の マトリックス切り替え HDMIセレクター、液晶画面 2台と使用で最強