简介

人工智能(AI) 和机器学习(ML) 相关知识带简单记录。

文献收集

关注的事情

关注的项目

关注的模型

Mac - Apple Silicon

Git LFS

shell

# 安装 Git LFS；这是很久之前的记录了，建议仔细阅读官方文档。
brew install git-lfs
git lfs install

# 下载模型项目
git clone https://huggingface.co/THUDM/chatglm3-6b-base
# 如果发现模型没下载下来，可以运行下面命令尝试下载模型
git reset
git pull
git lfs pull

Xinference

Xinference - 文档

shell

# MLX-lm 用来在苹果 silicon 芯片上提供高效的 LLM 推理
pip install "xinference[mlx]" --index-url https://mirrors.aliyun.com/pypi/simple/
XINFERENCE_MODEL_SRC=modelscope XINFERENCE_HOME=./xinference xinference-local --host 0.0.0.0 --port 9997

# 这样可以启动下载好的模型
xinference launch --model-name bge-large-zh-v1.5 --model-type embedding
xinference launch --model-name bge-reranker-v2-m3 --model-type rerank
xinference launch --model-name ChatTTS --model-type audio
xinference launch --model-name SenseVoiceSmall --model-type audio

Ollama

Ollama 笔记

vLLM

Installation - vLLM

只支持 CPU。

shell

# 设置虚拟环境在项目目录
poetry config virtualenvs.in-project true
# 创建项目
poetry new pytorch_demo && cd pytorch_demo
# 创建虚拟环境
poetry env use python3
# 进入虚拟环境
source .venv/bin/activate
# 添加源
poetry source add --priority=primary mirrors https://pypi.tuna.tsinghua.edu.cn/simple/
# 安装基础环境；下面两种均可
poetry add vllm
pip3 install vllm

使用 vLLM 部署大模型，MaxKB 需要选择 公共模型-OpenAI 类型。API 域名这样 http://host.docker.internal:8300/v1 即可。

TABLE OF CONTENTS

简介

文献收集

关注的事情

Mac - Apple Silicon

Git LFS

Xinference

Ollama

vLLM

生态

工具收集

TABLE OF CONTENTS

简介

文献收集

关注的事情

Mac - Apple Silicon

Git LFS

Xinference

Ollama

vLLM

生态

工具收集