本地还是云端?Python调用LLM API的四种方式

import requests   # 用于发送 HTTP 请求的库，常用于爬虫def call_zhipu_api(messages, model="glm-5.2"):# 智谱AI统一入口，所有模型共用同一个 URL，通过 body 中的 model 字段区分    url = "https://open.bigmodel.cn/api/paas/v4/chat/completions"# 请求头    # - Authorization: 使用密钥鉴权    # - Content-Type: 声明请求体为 JSON 格式    headers = {        "Authorization": "Bearer YOUR_API_KEY",        "Content-Type": "application/json"    }# 请求体（JSON Body）    # - model:       指定调用的模型名称    # - messages:    多轮对话消息列表，按时间顺序排列    # - temperature: 采样温度，范围 0.0~1.0；值越大回复越随机/创造性，值越小越确定/保守；默认 1.0，适合一般对话场景    data = {        "model": model,        "messages": messages,        "temperature": 1.0    }# 发送 POST 请求    # json=data 会自动序列化为 JSON 并设置 Content-Type    response = requests.post(url, headers=headers, json=data)# 处理响应    # - 200 表示请求成功，解析并返回 JSON    # - 非 200 抛出异常，常见错误码：    #      401 - API Key 无效或过期    #      403 - 无权限访问该模型    #      429 - 请求频率超限    #      500 - 服务端内部错误    if response.status_code == 200:        return response.json()    else:        raise Exception(f"API调用失败: {response.status_code}, {response.text}")# 使用示例# 构建对话消息列表# role="user" 表示用户的输入，"system" 为系统提示词# 如需多轮对话，可追加 assistant 和 user 的交替消息，例如：# [#     {"role": "system",    "content": "你是一个专业的翻译助手"},#     {"role": "user",      "content": "你好，请介绍一下自己"},#     {"role": "assistant", "content": "你好！我是AI助手..."},#     {"role": "user",      "content": "帮我翻译一句话"},# ]messages = [    {"role": "user", "content": "你好，请介绍一下自己"}]# 调用 APIresult = call_zhipu_api(messages)# 提取并打印模型回复内容# result['choices']                        → 候选回复列表（通常取第一个）# result['choices'][0]['message']          → 消息对象 {role, content}# result['choices'][0]['message']['content'] → 模型回复的纯文本# result['usage']['total_tokens']            → 本次消耗的 token 数量print(result['choices'][0]['message']['content'])

pip install openai

from openai import OpenAI# 同一套代码，只换这两行，就能切换不同服务client = OpenAI(    api_key="your-api-key",        # 各服务的API Key    base_url="https://..."         # 各服务的接口地址)# 调用方式完全相同response = client.chat.completions.create(    model="模型名称",    messages=[{"role": "user", "content": "哈哈嗨👋"}])print(response.choices[0].message.content)

from openai import OpenAIclient = OpenAI(api_key="your-key", base_url="https://api.deepseek.com")stream = client.chat.completions.create(    model="deepseek-v4-flash",    messages=[{"role": "user", "content": "脑袋被门夹了，吃被门夹过的核桃还能补脑吗‌"}],    stream=True)for chunk in stream:    if chunk.choices[0].delta.content:        print(chunk.choices[0].delta.content, end="", flush=True)

import osfrom dotenv import load_dotenv# 加载 .env 文件中的环境变量load_dotenv()api_key = os.getenv("DEEPSEEK_API_KEY")

from openai import OpenAIclient = OpenAI(    base_url="http://localhost:1234/v1"     # LM Studio本地地址)response = client.chat.completions.create(    model="gemma-4-e4b-it",    # 使用LM Studio中加载的模型名称    messages=[{"role": "user", "content": "既然快递要 3 天才到为什么不提前 3 天发‌"}])print(response.choices[0].message.content)

# 下载模型ollama pull deepseek-r1:7b# 运行模型（未下载的会先下载再运行）ollama run qwen2.5:7b# 启动服务（启动客户端后会同步启动服务，不用再输入命令）ollama serve

pip install ollama

import ollamaresponse = ollama.chat(    model="deepseek-r1:7b",    messages=[{"role": "user", "content": "去50米外的洗车店洗车，要开车去还是走路去"}])print(response["message"]["content"])

import ollamaresponse = ollama.generate(    model="qwen2.5:7b",    prompt="生鱼片其实是死鱼片‌，我最新的照片其实是我最老的照片")print(response["response"])

import ollamaresponse = ollama.embeddings(    model="nomic-embed-text",    prompt="皱纹是时间吹过身体时泛起的涟漪")print(f"向量维度: {len(response['embedding'])}")# >>> 向量维度: 768# [0.09235624223947525, 0.9944853782653809, -4.030320644378662, -0.07801476866006851,...]

import ollamastream = ollama.chat(    model="gemma3:270m",    messages=[{"role": "user", "content": "存在的星星不一定都发光,发光的星星不一定还存在"}],    stream=True)for chunk in stream:    if chunk["message"]["content"]:        print(chunk["message"]["content"], end="", flush=True)

import ollama# 拉取新模型ollama.pull("gemma3:270m")# 删除模型ollama.delete("gemma3:270m")# 列出已安装模型models = ollama.list()for model in models["models"]:    print(f"- {model['name']}")

from openai import OpenAIclient = OpenAI(    api_key="MODELSCOPE_ACCESS_TOKEN",       # 魔搭的AccessToken    base_url="https://api-inference.modelscope.cn/v1"  # 魔搭的接口地址)response = client.chat.completions.create(    model="qwen/Qwen2.5-72B-Instruct",    messages=[{"role": "user", "content": "人只有醒来后才知道自己睡了一觉"}])print(response.choices[0].message.content)

from modelscope import AutoModelForCausalLM, AutoTokenizer# AutoModelForCausalLM: 自动加载因果语言模型（Causal LM），适用于文本生成任务# AutoTokenizer: 自动加载与模型配套的分词器，负责文本与token ID之间的相互转换model_name = "Qwen/Qwen2.5-0.5B-Instruct"model = AutoModelForCausalLM.from_pretrained(    model_name,    torch_dtype="auto",  # 自动选择合适的数据类型（通常为 float16 或 bfloat16），减少显存占用，同时保持推理精度    device_map="auto"  # 自动将模型分配到可用的计算设备（优先GPU，无GPU则用CPU）)tokenizer = AutoTokenizer.from_pretrained(model_name)  # 构建分词器prompt = "魔搭还提供了很多复杂的功能，比如训练、微调"messages = [    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},    {"role": "user", "content": prompt}]text = tokenizer.apply_chat_template(  # 应用对话模板，将消息列表按照模型要求的模板格式拼接成完整的输入字符串    messages,    tokenize=False,    add_generation_prompt=True)model_inputs = tokenizer([text], return_tensors="pt").to(model.device)  # 对输入文本进行分词和编码generated_ids = model.generate(  # 模型根据输入的 token 序列，自回归地逐个生成后续 token    **model_inputs,    max_new_tokens=512)generated_ids = [  # 截取新生成的部分    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]  # 将 token ID 解码为可读的文本

第1轮 API 调用：  输入 → [User：今天天气怎么样？]  输出 → [AI：今天北京晴转多云……]第2轮 API 调用：  输入 → [User：今天天气怎么样？]        ← 上一轮的问题         [AI：今天北京晴转多云……]      ← 上一轮的回答         [User：那明天呢？]               ← 这一轮的新问题  输出 → [AI：明天预计有小雨……]第3轮 API 调用：  输入 → [User：今天天气怎么样？]        ← 第1轮的问题         [AI：今天北京晴转多云……]      ← 第1轮的回答         [User：那明天呢？]               ← 第2轮的问题         [AI：明天预计有小雨……]        ← 第2轮的回答         [User：需要带伞吗？]             ← 这一轮的新问题  输出 → [AI：建议带一把……]

# 第一轮：从零开始messages = [    {"role": "user", "content": "今天天气怎么样？"}]response1 = client.chat.completions.create(model="deepseek-v4-flash", messages=messages)# "记住"AI的回答，追加到消息列表messages.append({"role": "assistant", "content": response1.choices[0].message.content})# 第二轮：把历史+新问题一起塞进去messages.append({"role": "user", "content": "那明天呢？"})response2 = client.chat.completions.create(model="deepseek-v4-flash", messages=messages)