pycharm 远程连接服务器

https://blog.csdn.net/qq_36667170/article/details/121716527

pycharm 指定 GPU

1. 源代码中添加

   import os
   # 指定使用0,1,2三块卡
   os.environ["CUDA_VISIBLE_DEVICES"] = "0,1,2"
   

2. 命令行添加

   #!/bin/bash
   export CUDA_VISIBLE_DEVICES="1,2"
   python -m torch.distributed.launch \
   

3. pycharm 中指定

   1. 第一步, 打开"Edit Configurations"
   2. 第二步, 设置环境变量, 按下图序号操作即可
   

远程调试

argparse 配合 pycharm 命令行参数 (opens new window)

1. 对于--xxx 这种参数，在添加的时候需要把--xxx 同时加上

   

---

Pycharm上传代码到服务器

导航栏Tools--->Deployment--->Configuration

配置Root path

配置Deployment path

测试上传

---

常用命令

• nohop命令提交的作业在xshell断开后仍然可以运行。命令格式：nohop ./***.sh > out 2>&1 &。其中脚本文件需要有可执行权限，'out' 为指定的结果输出文件。
• ps -u 'username' -f 查看用户所用进程及详细信息
• kill PID不管用的时候，尝试加-9参数kill -9 PID，或者kill父进程: kill PPID
• top：查看系统资源占用情况以及每个进程资源占用情况。top -u 用户名，查看对应用户的进程占用情况。
• nohup ./脚本 > 输出文件名 2>&1 &
• gpustat 可已查看每个GPU当前使用的用户
• tail -f 输出文件名，动态查看输出信息
• nvidia-smi：查看显存使用情况

---

常见报错

• CUDA out of memory。爆显存

  解决方式：换一张剩余显存大的卡。

• 进程总是被kill 掉 原因：爆内存，被Linux系统kill 掉了。 解决方式：等系统内存多的时候再提交。或者优化程序代码。