前言
在数字化的浪潮中,Ollama如同一位技术界的“魔法师”,挥舞着它的魔杖——一行简单的命令,就能唤醒沉睡的代码巨人,一键本地部署2000+ 大模型!今天,让我们揭开Ollama的神秘面纱,一探究竟。
一、Ollama:AI“魔法师”
Ollama,它是一个轻量级、可扩展的大模型框架,就像是一位能够召唤各种大语言模型的魔法师。它不仅支持Windows、Linux、MacOS这些主流操作系统,还拥有一个庞大的模型库,包括Qwen、Llama等2000+大语言模型。
你只需轻轻一念咒语(输入命令),就能让这些模型为你所用,是不是很酷?
跨平台支持
Ollama就像是那个传说中的“万能钥匙”,无论你是在Windows的城堡、Linux的森林还是MacOS的岛上,都能轻松打开AI的大门。
丰富的模型库
提供了丰富的模型库,就像是给你一个巨大的“魔法书库”,里面藏有各种强大的魔法书(模型),你可以根据需要随时“借阅”。
自定义模型参数
支持用户上传自己的模型,就像是给你一个“魔杖”,你可以用它来调整魔法的效果,让魔法更符合你的心意。
多GPU并行推理加速
在多卡环境下,可以设置环境变量来指定特定GPU。这就像是给你的魔法书加上“加速咒”,让你的魔法施展得更快。
二、安装:简单到“真·一键搞定”
1、Windows安装
直接从下载页面下载相对应系统的安装程序,Windows安装程序选择Windows的安装包,点击“Download for Windows(Preview)”。
下载好以后,双击安装包,之后一直点击“install”安装即可。安装完成之后,打开一个cmd命令窗口,输入“ollama”命令,如果显示ollama相关的信息就证明安装已经成功了,如下图:
2、Mac安装
从下载页面,下载苹果系统相对应的安装程序,即点击“Download for Mac”。
下载好后,双击安装包,点击“install”,等待Ollama自动安装。
3、Linux安装
在Linux系统上,可以通过脚本安装或源码编译的方式来安装Ollama,下面介绍主流的脚本安装方法。
脚本安装
Ollama提供了一键安装脚本,可以快速在Linux系统上安装Ollama,打开终端,执行以下命令下载安装脚本:
curl -fsSL https://ollama.com/install.sh | sh
等待安装完成。安装脚本会自动下载所需的组件,并完成Ollama的安装与配置。安装完成后,可以通过以下命令启动Ollama:
ollama serve
三、命令参数:你的AI助手
以下是Ollama使用常见的指令:
ollama serve #启动ollama
ollama create #从模型文件创建模型
ollama show #显示模型信息
ollama run #运行模型
ollama pull #从注册表中拉取模型
ollama push #将模型推送到注册表
ollama list #列出模型
ollama cp #复制模型
ollama rm #删除模型
ollama help #获取有关任何命令的帮助信息
四、设置自定义模型下载路径
默认情况下,ollama模型的存储目录如下:
macOS: `~/.ollama/models`
Linux: `/usr/share/ollama/.ollama/models`
Windows: `C:\Users\<username>\.ollama\models`
Windows更改Ollama模型存放位置
在Windows系统中,若要更改Ollama模型的存放位置,可以按照以下步骤操作:
-
右键点击“此电脑”或“我的电脑”,选择“属性”。
-
在系统窗口中选择“高级系统设置”。
-
在系统属性窗口中点击“环境变量”按钮。
-
在环境变量窗口中,点击“新建”创建一个新的系统变量或用户变量。
-
变量名:OLLAMA_MODELS
-
变量值:输入你希望设置的新模型存放路径,例如:E:\Ollama\Models
-
点击“确定”保存设置。
-
重启Ollama相关服务,使新的路径生效。
Linux/Mac更改Ollama模型存放位置
在Linux或Mac系统中,更改Ollama模型存放位置的步骤如下:
-
打开终端,创建一个新的目录作为模型存放位置,例如:`mkdir -p /path/to/your/new/ollama/models`
-
设置环境变量:在Linux系统中,可以通过编辑/.bashrc或/.bash_profile文件(对于bash shell)或~/.zshrc文件(对于zsh shell)。
-
在Mac系统中,可以通过编辑/.bash_profile或/.zshrc文件。
-
在终端中运行以下命令:`source ~/.bashrc`(或者source ~/.bash_profile,取决于你编辑的文件)
-
重启Ollama相关服务,使新的路径生效。
五、导入huggingface模型
最新版Ollama开始支持从Huggingface Hub上直接拉取各种模型,包括社区创建的GGUF量化模型。
用户可以通过简单的命令行指令快速运行这些模型,可以使用如下命令:
ollama run hf.co/{
username}/{
repository}
要选择不同的量化方案,只需在命令中添加一个标签:
ollama run hf.co/{
username}/{
repository}:{
quantization}
例如:量化名称不区分大小写
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0
还可以直接使用完整的文件名作为标签:
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf
了解更多详情:
Ollama下载:
https://ollama.com/download
Ollama官方GitHub源代码仓库:
https://github.com/ollama/ollama/
技术的进步总是为了更好地服务于人类。让我们拥抱变革,用AI创造出更多优秀的内容。我们下期再见,Respect!
最后的最后
感谢你们的阅读和喜欢,我收藏了很多技术干货,可以共享给喜欢我文章的朋友们,如果你肯花时间沉下心去学习,它们一定能帮到你。
因为这个行业不同于其他行业,知识体系实在是过于庞大,知识更新也非常快。作为一个普通人,无法全部学完,所以我们在提升技术的时候,首先需要明确一个目标,然后制定好完整的计划,同时找到好的学习方法,这样才能更快的提升自己。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
大模型知识脑图
为了成为更好的 AI大模型 开发者,这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
经典书籍阅读
阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。
实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
面试资料
我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下
640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】