本人记忆着实一般，这几天新得了几台服务器的权限，要记录下来，怎么开坑，方便自己遇到此类问题。寻来方便。。

毕竟，前一天刚开一个服务器；第二天就忘了具体咋操作了

本人是做deep learning的，故本文仅仅适合DL的同学来看，其余不是很确定？？？

  1. 在/home/mazipei/目录下，下载miniconda/anaconda（看个人喜好，mini够用）

    • 下载 Miniconda (Python3 version)
    1
    wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
    • 安装
    1
    bash Miniconda3-latest-Linux-x86_64.sh
    • 随后一直按回车，所有都yes
      安装好后，source ~/.bashrc

  2. 设置清华源

    1
    2
    python -m pip install --upgrade pip
    pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

  3. 找一个github repo下一个你要用的 conda 环境，我目前在做 4d edit，找了 Instruct4D-to-4D

    • 创建一个环境：conda create -n instruct4d python=3.8
    • 查看当前服务器装了什么版本的cuda，（一般师兄都会帮你装好）
      • cat /usr/local/cuda/version.json
      • ls /usr/local/ | grep cuda
    • previous torch version
    • 安装torch：pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --index-url https://download.pytorch.org/whl/cu118
    • 安装当前repo需要的其他库：pip install -r requirements.txt

注：

ssh connection timed out 可参考：https://stackoverflow.com/questions/59978826/why-ssh-connection-timed-out-in-vscode

2024年10月16日更：

由于zz原因，国内连接github是个运气问题，而服务器上没🪜。我本人又对github commit有种蜜汁强迫，经常git push要等好久。。。

最近发现有github镜像网站（两个都可以，但是连接时得关掉本地电脑的🪜）：1. https://bgithub.xyz 2. https://ggithub.xyz

我这里以 bgithub.xyz 为例，讲解如何 git push:

  1. git clone : git clone https://bgithub.xyz/<User Name>/<Repo Name>.git
  2. 根据这篇博客，生成token并set-url，https://www.cnblogs.com/oldweipro/p/16612197.html
    • 但是注意，博客中的 set-url：git remote set-url origin https://<your_token>@github.com/<USERNAME>/<REPO>.git，由于是镜像，需要把 github.com更改为 bgithub.xyz
  3. git push: git push origin main

2024年10月19日更：

HuggingFace 镜像下载：https://github.com/LetheSec/HuggingFace-Download-Accelerator

2024年10月29日更：

home目录空间不够，转到/data下载

1
2
3
4
mkdir -p /data/duantong/conda_pkgs
mkdir -p /data/duantong/conda_envs
conda config --add pkgs_dirs /data/duantong/conda_pkgs
conda config --add envs_dirs /data/duantong/conda_envs
1
2
3
4
5
6
7
conda create --prefix /data/duantong/conda_envs/4DG python=3.8

echo 'alias 4dg="conda activate /data/duantong/conda_envs/4DG"' >> ~/.bashrc  

source ~/.bashrc   

4dg

之后就是正常的pip安装

2025年01月21日更：

发现了一个可以全局替换 github.com 为 bgithub.xyz 的方法，

编辑 ~/.gitconfig :

1
vim ~/.gitconfig

添加以下内容：

1
2
3
4
5
[url "https://bgithub.xyz/"]
    insteadOf = https://github.com/

[url "git@bgithub.xyz:"]
    insteadOf = git@github.com:

你可以测试链接是否替换成功，例如克隆一个仓库：

1
git clone https://github.com/user/repo.git

实际会被替换为：

1
git clone https://bgithub.xyz/user/repo.git

有一点小问题的是，我们用SSH Key的方法来push时需要注释掉上面这段

2025年02月11日更：

拿到了内网的另一台服务器，copy 密钥

在原服务器 *.*.*.12 上执行：

1
ssh-copy-id 用户名@*.*.*.13

就可以直接用密钥登陆新服务器 *.*.*.13

拷贝文件/目录(-r option)：

1
scp -r 本地目录 用户名@远程IP:/目标路径/

选择多个目录：

1
scp -r {017,145,147,158} mazipei@*.*.*.13:/HDD_DISK/datasets/waymo_scenes

排除目录传文件：

1
rsync -avz --exclude "eval_output" --exclude "dataset" /HDD_DISK/users/mazipei/*** mazipei@*.*.*.*:/HDD_DISK/users/mazipei

2025年02月21日更：
git clone 时，git@github.com's password:

注：SSH似乎不行？我换成了HTTPS (git@github.com -> https://github.com)

  1. 生成 SSH 密钥
1
ssh-keygen -t ed25519 -C "example@mail"
  1. 添加 SSH 公钥 到 github.com
1
cat ~/.ssh/id_ed25519.pub

复制这串 SSH 公钥（完整的 ssh-ed25519 AAAAC3…）。

打开 github Settings->SSH Keys，添加 SSH Key

  • Title: 随便填
  • Key：粘贴刚刚的 公钥
  1. 测试 SSH 连接
1
ssh username@github.com

username 是 github username

  1. 可以克隆了
1
git clone https:@github.com:hyzhou404/hugs.git --recursive

2025年03月18日更：
没有sudo权限，在自己的目录（/HDD_DISK/users/mazipei）安装cuda11.8

首先，需要从NVIDIA官网下载CUDA 11.8的本地安装包（runfile）：

1
2
3
4
cd /HDD_DISK/users/mazipei
mkdir cuda_install
cd cuda_install
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run

给安装文件添加执行权限并运行：

1
2
chmod +x cuda_11.8.0_520.61.05_linux.run
./cuda_11.8.0_520.61.05_linux.run --toolkit --toolkitpath=/HDD_DISK/users/mazipei/cuda-11.8 --defaultroot=/HDD_DISK/users/mazipei/cuda-11.8

注意：
—toolkit 表示只安装CUDA工具包
—toolkitpath 指定安装路径
—defaultroot 指定默认根目录
安装过程中会提示您接受许可协议，按照提示操作即可
由于没有sudo权限，您可能无法安装驱动程序，但如果系统已经安装了兼容的NVIDIA驱动，您仍然可以使用CUDA工具包

如果不需要安装新的驱动：
CUDA安装界面：方向键移动到Driver，按空格键取消选择”Driver”（将[X]变成[ ]）
正确的选择应该是：

  • [ ] Driver
  • [X] CUDA Toolkit 11.8
  • [X] CUDA Demo Suite 11.8（可选）
  • [X] CUDA Documentation 11.8（可选）
  • [ ] Kernel Objects

使用方向键移动到”Install”选项，然后按Enter键开始安装过程。

NVIDIA Driver 和 cuda 版本对应

安装完成后，您需要配置环境变量。编辑您的.bashrc文件，添加以下内容：

1
2
3
export PATH=/HDD_DISK/users/mazipei/cuda-11.8/bin:$PATH
export LD_LIBRARY_PATH=/HDD_DISK/users/mazipei/cuda-11.8/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/HDD_DISK/users/mazipei/cuda-11.8
1
source ~/.bashrc

验证：

1
nvcc --version

linux无sudo，在自己目录安装gcc

我安装的目录: /HDD_DISK/users/mazipei

gcc安装网址，从中选择一个版本

1
2
3
wget https://ftp.gnu.org/gnu/gcc/gcc-10.1.0/
tar -zvxf gcc-10.1.0.tar.gz
cd gcc-10.1.0

查看依赖以及版本：

1
vim contrib/download_prerequisites

依赖下载的地址

1
2
3
4
5
6
7
8
9
10
cd ..
wget https://gcc.gnu.org/pub/gcc/infrastructure/gmp-6.1.0.tar.bz2
wget https://gcc.gnu.org/pub/gcc/infrastructure/mpfr-3.1.4.tar.bz2
wget https://gcc.gnu.org/pub/gcc/infrastructure/mpc-1.0.3.tar.gz
wget https://gcc.gnu.org/pub/gcc/infrastructure/isl-0.18.tar.bz2

tar -jvxf gmp-6.1.0.tar.bz2 --directory=/HDD_DISK/users/mazipei/gcc-10.1.0
tar -jvxf isl-0.18.tar.bz2 --directory=/HDD_DISK/users/mazipei/gcc-10.1.0
tar -jvxf mpfr-3.1.4.tar.bz2 --directory=/HDD_DISK/users/mazipei/gcc-10.1.0
tar -zvxf mpc-1.0.3.tar.gz --directory=/HDD_DISK/users/mazipei/gcc-10.1.0

cd到gcc-10.1.0目录下面，依次执行下面四个命令，为四个依赖创建软链接：

1
2
3
4
5
cd gcc-10.1.0
ln -sf gmp-6.1.0 gmp
ln -sf isl-0.18 isl
ln -sf mpc-1.0.3 mpc
ln -sf mpfr-3.1.4 mpfr

ls -l | grep ^l检查一下

在目录gcc-10.1.0下面依次执行下面两个命令：

1
2
mkdir build && cd build
../configure -enable-checking=release -enable-languages=c,c++ -disable-multilib --prefix=/HDD_DISK/users/mazipei/gcc-10.1.0

这里用了--prefix，否则会默认新版本gcc指定安装安装目录为/usr/local

然后在build目录下面执行的命令，编译安装gcc：

1
make -j4 && make install

耐心等待，最后出现如下则成功了：

1
2
3
4
5
make[4]: Nothing to be done for 'install-data-am'.
make[4]: Leaving directory '/HDD_DISK/users/mazipei/gcc-10.1.0/build/x86_64-pc-linux-gnu/libatomic'
make[3]: Leaving directory '/HDD_DISK/users/mazipei/gcc-10.1.0/build/x86_64-pc-linux-gnu/libatomic'
make[2]: Leaving directory '/HDD_DISK/users/mazipei/gcc-10.1.0/build/x86_64-pc-linux-gnu/libatomic'
make[1]: Leaving directory '/HDD_DISK/users/mazipei/gcc-10.1.0/build'

最后在~/.bashrc里加入如下：

1
2
export PATH=/HDD_DISK/users/mazipei/gcc-10.1.0/bin:$PATH
export LD_LIBRARY_PATH=/HDD_DISK/users/mazipei/gcc-10.1.0/lib64:$LD_LIBRARY_PATH

激活

1
source ~/.bashrc

验证：

1
2
which gcc
gcc --version