大模型学习到实战

框架学习

CUDA安装

在学习大模型中，使用GPU跑大模型至关重要，针对N卡的CUDA驱动安装，打开命令行，输入nvidia-smi，查看支持的最高版本：

查看到最高支持为12.7，所以我们安装的版本要 ≤12.7，访问官网：cuDNN Archive | NVIDIA Developer

我的最高支持12.7，进入https://developer.nvidia.com/cuda-12-0-0-download-archive，选择系统版本下载。

对驱动进行安装，安装选项进行精简安装，如出现CUDA Visual Studio Integration说明我们电脑没有Visual Studio，我们点击连接进行Visual Studio官网进行下载安装，打开后选择右下角的安装，选择添加工作负载，再点击安装。安装完成后，关闭Visual Studio。

之后我们在CUDA的安装中，返回上一步，重新检查，通过后进行安装。

安装完成后，安装cudnn，访问官网：cuDNN | NVIDIA，选择cuDNN 8.x - 1.x，进入后选择Download cuDNN v8.9.7 (December 5th,2023),for CUDA 12.x，下载后为ZIP格式压缩包，解压后的文件夹复制到CUDA的安装目录下。

测试是否安装成功

CUDA自带了测试程序，位于安装目录中，进入demo_suite后，在此处打开命令行，运行：bandwidthTest.exe

接着运行deviceQuery.exe，结果也显示 PASS，说明我们的 CUDN 和 CUDA 已经安装成功了。

PyTorch

安装

安装前先确保本机已安装Python或conda，访问Pytorch官网：Start Locally | PyTorch

版本选择**PyTorch Build: Stable (2.5.1)稳定版，根据自己电脑情况，复制Run this Command:**进行安装：

如果是有GPU的电脑并且安装了CUDA驱动，打开命令行，输入：nvcc -V，查看实际版本：

所以我们的Compute Platform选择：CUDA12.1，因为我们的版本为12.0，向下兼容。

测试是否安装成功

打开命令行，进入到conda安装了pytorch的对应环境，输入python：

import torch
print(torch.__version__) # 查看torch当前版本号
print(torch.version.cuda) #编译当前版本的torch使用的cuda版本号
print(torch.cuda.is_available()) #查看当前cuda是否可用于当前版本的Torch,如果输出True,则表示GPU可用