Gemini 多模态生态与最新模型解析

Gemini 3：新一代多模态AI

Gemini 3 是 Google 最新的AI模型系列，在推理、代码、多模态理解方面实现了重大突破。配合丰富的生态工具，构建了从文本到图像、视频、音频的完整多模态能力矩阵。

模型矩阵

多模态能力详解

图像生成（Nano-Banana 2）

Gemini 原生集成图像生成能力，无需额外工具：

from google import genai
from google.genai import types

client = genai.Client()

response = client.models.generate_content(
    model="gemini-3-pro",
    contents="生成一张赛博朋克风格的城市夜景图",
    config=types.GenerateContentConfig(
        response_modalities=["TEXT", "IMAGE"]
    )
)

for part in response.candidates[0].content.parts:
    if part.inline_data:
        with open("output.png", "wb") as f:
            f.write(part.inline_data.data)

视频生成（Veo 3.1）

Veo 支持文本生成视频和图片生成视频：

# 异步视频生成
operation = client.models.generate_videos(
    model="veo-3.1",
    prompt="一只猫在月光下跳舞，电影级画质",
    config=types.GenerateVideosConfig(
        number_of_videos=1,
        duration_seconds=8
    )
)

# 等待完成
while not operation.done:
    time.sleep(10)
    operation = client.operations.get(operation)

# 下载视频
video = operation.response.generated_videos[0]
client.files.download(file=video, filepath="output.mp4")

实时多模态（Live API）

Live API 支持实时的音视频交互：

import asyncio

async def live_session():
    config = {"response_modalities": ["TEXT"]}
    async with client.aio.live.connect(model="gemini-3-flash", config=config) as session:
        await session.send(input="描述你看到的内容", end_of_turn=True)
        async for response in session.receive():
            print(response.text)

生态工具

Gemini CLI

开源AI代理，在终端中直接使用 Gemini：

npm install -g @anthropic-ai/gemini-cli
gemini "分析这个项目的代码架构"

Google AI Studio

在线平台，支持：

• 交互式提示词测试
• 结构化提示词构建
• 模型对比评测
• 一键部署到 API

File Search（RAG）

托管的 RAG 系统，上传文件即可实现检索增强生成：

# 创建语料库
corpus = client.files.create_corpus(name="my_docs")

# 上传文件
client.files.upload(file="knowledge.pdf", corpus=corpus)

# 检索增强生成
response = model.generate_content(
    "根据文档回答：...",
    tools=[types.Tool(file_search=types.FileSearch(corpus=corpus.name))]
)

迁移到 Gemini 3

从 Gemini 2.x 迁移的主要变更：

• 模型名更新：gemini-2.5-pro → gemini-3-pro
• 新增思考模式参数
• 图像生成改为原生集成
• API 兼容，无需大改代码