一键部署2000多种AI大模型!不挑环境、不吃配置,神了!

Source

前言

在数字化的浪潮中,Ollama如同一位技术界的“魔法师”,挥舞着它的魔杖——一行简单的命令,就能唤醒沉睡的代码巨人,一键本地部署2000+ 大模型!今天,让我们揭开Ollama的神秘面纱,一探究竟。

一、Ollama:AI“魔法师”

Ollama,它是一个轻量级、可扩展的大模型框架,就像是一位能够召唤各种大语言模型的魔法师。它不仅支持Windows、Linux、MacOS这些主流操作系统,还拥有一个庞大的模型库,包括Qwen、Llama等2000+大语言模型。

你只需轻轻一念咒语(输入命令),就能让这些模型为你所用,是不是很酷?

跨平台支持

Ollama就像是那个传说中的“万能钥匙”,无论你是在Windows的城堡、Linux的森林还是MacOS的岛上,都能轻松打开AI的大门。

丰富的模型库

提供了丰富的模型库,就像是给你一个巨大的“魔法书库”,里面藏有各种强大的魔法书(模型),你可以根据需要随时“借阅”。

自定义模型参数

支持用户上传自己的模型,就像是给你一个“魔杖”,你可以用它来调整魔法的效果,让魔法更符合你的心意。

多GPU并行推理加速

在多卡环境下,可以设置环境变量来指定特定GPU。这就像是给你的魔法书加上“加速咒”,让你的魔法施展得更快。

二、安装:简单到“真·一键搞定”

1、Windows安装

直接从下载页面下载相对应系统的安装程序,Windows安装程序选择Windows的安装包,点击“Download for Windows(Preview)”。

下载好以后,双击安装包,之后一直点击“install”安装即可。安装完成之后,打开一个cmd命令窗口,输入“ollama”命令,如果显示ollama相关的信息就证明安装已经成功了,如下图:

2、Mac安装

从下载页面,下载苹果系统相对应的安装程序,即点击“Download for Mac”。

下载好后,双击安装包,点击“install”,等待Ollama自动安装。

3、Linux安装

在Linux系统上,可以通过脚本安装或源码编译的方式来安装Ollama,下面介绍主流的脚本安装方法。

脚本安装

Ollama提供了一键安装脚本,可以快速在Linux系统上安装Ollama,打开终端,执行以下命令下载安装脚本:

curl -fsSL https://ollama.com/install.sh  | sh   

等待安装完成。安装脚本会自动下载所需的组件,并完成Ollama的安装与配置。安装完成后,可以通过以下命令启动Ollama:

ollama serve   

三、命令参数:你的AI助手

以下是Ollama使用常见的指令:

ollama serve         #启动ollama  
ollama create        #从模型文件创建模型  
ollama show          #显示模型信息  
ollama run           #运行模型  
ollama pull          #从注册表中拉取模型  
ollama push          #将模型推送到注册表  
ollama list          #列出模型  
ollama cp            #复制模型  
ollama rm            #删除模型  
ollama help          #获取有关任何命令的帮助信息

四、设置自定义模型下载路径

默认情况下,ollama模型的存储目录如下:

macOS: `~/.ollama/models` 

Linux: `/usr/share/ollama/.ollama/models`  

Windows: `C:\Users\<username>\.ollama\models`

Windows更改Ollama模型存放位置

在Windows系统中,若要更改Ollama模型的存放位置,可以按照以下步骤操作:

  • 右键点击“此电脑”或“我的电脑”,选择“属性”。

  • 在系统窗口中选择“高级系统设置”。

  • 在系统属性窗口中点击“环境变量”按钮。

  • 在环境变量窗口中,点击“新建”创建一个新的系统变量或用户变量。

  • 变量名:OLLAMA_MODELS

  • 变量值:输入你希望设置的新模型存放路径,例如:E:\Ollama\Models

  • 点击“确定”保存设置。

  • 重启Ollama相关服务,使新的路径生效。

Linux/Mac更改Ollama模型存放位置

在Linux或Mac系统中,更改Ollama模型存放位置的步骤如下:

  • 打开终端,创建一个新的目录作为模型存放位置,例如:`mkdir -p /path/to/your/new/ollama/models`

  • 设置环境变量:在Linux系统中,可以通过编辑/.bashrc或/.bash_profile文件(对于bash shell)或~/.zshrc文件(对于zsh shell)。

  • 在Mac系统中,可以通过编辑/.bash_profile或/.zshrc文件。

  • 在终端中运行以下命令:`source ~/.bashrc`(或者source ~/.bash_profile,取决于你编辑的文件)

  • 重启Ollama相关服务,使新的路径生效。

五、导入huggingface模型

最新版Ollama开始支持从Huggingface Hub上直接拉取各种模型,包括社区创建的GGUF量化模型。

用户可以通过简单的命令行指令快速运行这些模型,可以使用如下命令:

ollama run hf.co/{
    
      username}/{
    
      repository}   

要选择不同的量化方案,只需在命令中添加一个标签:

ollama run hf.co/{
    
      username}/{
    
      repository}:{
    
      quantization}

例如:量化名称不区分大小写
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M  
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

还可以直接使用完整的文件名作为标签:  
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

‍了解更多详情:

Ollama下载:

https://ollama.com/download

Ollama官方GitHub源代码仓库:

https://github.com/ollama/ollama/

技术的进步总是为了更好地服务于人类。让我们拥抱变革,用AI创造出更多优秀的内容。我们下期再见,Respect!

最后的最后

感谢你们的阅读和喜欢,我收藏了很多技术干货,可以共享给喜欢我文章的朋友们,如果你肯花时间沉下心去学习,它们一定能帮到你。

因为这个行业不同于其他行业,知识体系实在是过于庞大,知识更新也非常快。作为一个普通人,无法全部学完,所以我们在提升技术的时候,首先需要明确一个目标,然后制定好完整的计划,同时找到好的学习方法,这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

大模型知识脑图

为了成为更好的 AI大模型 开发者,这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费