常用命令

• nohop 命令提交的作业在 xshell 断开后仍然可以运行。命令格式：nohop ./train.sh > out 2>&1 &。其中脚本文件需要有可执行权限，'out' 为指定的结果输出文件。
• tail -f 输出文件名，动态查看输出信息
• gpustat 可已查看每个 GPU 当前使用的用户
• nvidia-smi：查看显存使用情况

nvitop

nvitop nvitop 是一个非常全面的 NVIDIA-GPU 设备运行状况的实时监控工具

nvitop 安装

• 使用 pipx 进行安装

pipx run nvitop

• 使用 pip3 进行安装

pip3 install --upgrade nvitop

• 使用 conda 进行安装

conda install -c conda-forge nvitop

• 从 Github 拉取最新版本进行安装

pip3 install git+https://github.com/XuehaiPan/nvitop.git#egg=nvitop

• clone 项目并手动安装

git clone --depth=1 https://github.com/XuehaiPan/nvitop.git
cd nvitop
pip3 install .