在Windows上使用Ollama并配置远程访问

什么是 Ollama？

Ollama 是一款开创性的人工智能（AI）和机器学习（ML）工具平台，它极大地简化了 AI 模型的开发和使用过程。

在技术社区里，AI 模型的硬件配置和环境搭建一直是个棘手的问题，而 Ollama 正是为了解决这样的关键需求而出现的：

• 它不仅提供了一系列工具，更重要的是，这些工具使用起来非常直观且高效，不管你是 AI 领域的专业人士还是初涉此道的新手，都能在 Ollama 上找到对应的支持。
• 不止于方便使用，Ollama 还让先进的 AI 模型和计算资源的获取不再局限于少数人。对于 AI 和 ML 社区而言，Ollama 的诞生具有里程碑意义，它推动了 AI 技术的普及，让更多的人能够去尝试和实践自己的 AI 创意。

在 Windows 上使用 Ollama

步骤 1：下载和安装

1. 访问https://ollama.com/下载安装程序
2. 双击文件，点击「Install」开始安装。
3. 安装完成之后，就可以开始在 Windows 上使用 Ollama 了

步骤 2：启动 Ollama 并获取模型

1. 按Windows+R快捷键，输入cmd回车，进入到命令提示符

2. 执行以下命令来运行 Ollama，并加载模型：

   ollama run [modelname]
   

   比如要加载qwen2模型就输入

   ollama run qwen2
   

   支持的模型可以访问https://ollama.com/library网址查询

   执行以上命令后，Ollama 将开始初始化，并自动从 Ollama 模型库中拉取并加载所选模型。一旦准备就绪，就可以向它发送指令，它会利用所选模型来进行理解和回应。

步骤 3：使用模型

待下载加载好文本模型后，就可以直接在命令行里输入文字开始与模型「对话」。

步骤 4：连接到 Ollama API

我们不可能只通过命令行来使用，将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里。

以下是如何连接和使用 Ollama API 的步骤：

• 默认地址和端口：Ollama API 的默认地址是http://localhost:11434，可以在安装 Ollama 的系统中直接调用。
• 修改 API 的侦听地址和端口：如果要在网络中提供服务，可以修改 API 的侦听地址和端口。

1. 右击点击任务栏图标，选择「Quit Ollama」退出后台运行。

2. 使用Windows + R快捷键打开「运行」对话框，输入命令：sysdm.cpl

   系统属性->环境变量->用户变量，新增变量记录

3. 要更改侦听地址和端口，可以添加以下环境变量：

   • 变量名：OLLAMA_HOST
   • 变量值（端口）：:11434

   指定 Ollama API 侦听地址和端口

   只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:11434端口。

4. 如果需要修改模型下载的默认位置，可以通过OLLAMA_MODELS变量名来指定默认模型。

5. 更改完之后，重新运行 Ollama。然后在浏览器中测试访问，验证更改是否成功。

6. 示例 API 调用： 要使用 Ollama API，可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl命令给 qwen2 模型发送文字提示的例子：

   curl http://10.147.17.66:11434/api/generate -d '{
     "model": "qwen2",
     "prompt": "算神是谁？"
   }'
   

其他的Ollama 的常用命令有：

# 查看 Ollama 版本
ollama -v
 
# 查看已安装的模型
ollama list
 
# 删除指定模型
ollama rm [modelname]

Ollama on Windows 的最佳实践

要让 Ollama 在 Windows 上充分发挥最大潜力，需要注意以下几点最佳实践和技巧，这将帮助你优化性能并解决一些常见问题：

优化 Ollama 的性能：

• 检查硬件配置： 确保你的设备满足 Ollama 推荐的硬件要求，尤其是运行大型模型时。如果你有 NVIDIA 或 AMD GPU，还可以享受 Ollama 提供的自动硬件加速，大幅提升计算速度。
• 更新驱动程序： 保持显卡驱动程序为最新版本，以确保与 Ollama 的兼容性和最佳性能。
• 释放系统资源：运行大型模型或执行复杂任务时，请关闭不必要的程序，释放系统资源。
• 选择合适模型：根据任务需求选择合适的模型。大参数模型虽然可能更准确，但对算力的要求也更高。对于简单任务，使用小参数模型更有效率。

Ollama 常见问题解答

安装问题

• 确保你的 Windows 系统是最新版本。
• 确保你拥有安装软件所需的权限。
• 尝试以管理员身份运行安装程序。