講師介紹

劉弘祥

AI 自動化技術顧問，專注於生成式 AI、流程自動化與知識管理領域。清大電機所畢業，現從事企業 AI 導入顧問與人才培訓工作。

曾為金融、保險、科技、媒體等產業提供教育訓練與顧問服務，累積數十場課程與演講經驗。

著作

• 《資料科學入門完全指南》
• 《Notion 全方位管理術》
• 《成為 AI 無法取代的那個人》審訂
• Claude 書籍（即將出版）

今天結束時，你會帶走三樣東西

今天的節奏

問題驅動。每段以問題開場，穿插互動 demo 和程式實作。

AI 的四個時代

關鍵時刻：2022 年 11 月 30 日

這是 AI 第一次真正「走進普通人」的日子。
在這之前，AI 是研究議題。在這之後，AI 是產品。

為什麼是「現在」？

模型沒有突然變強。
是「模型 + 工具 + 迴圈」這個組合終於成熟。

Token：不是「字」

• 模型看到的不是字元、不是中文字、不是英文單字
• 而是 token：一個由 tokenizer 切出來的單位
• 英文：1 token ≈ 0.75 字
• 中文：1 token ≈ 0.5–1 字（罕見字會切多）
• 數字、特殊符號可能被切奇怪

# 同樣意思，token 數差很多
"What is the capital of Taiwan?"           → 8 tokens
"台灣的首都是哪裡？"                          → 14 tokens
"請問你能夠告訴我...到底是位於哪一個城市嗎？"   → 35 tokens

中文用戶在「同樣 context window」下能塞的內容比英文少。這是 LLM 的隱性偏見。

模型規模 & Context Window

參數量

Context Window 演進

參數量不等於智商。小模型 + 好 context engineering 常常超越大模型 + 爛 prompt。

Temperature：控制「隨機度」的旋鈕

實務建議：寫程式 / 做 agent 用 0~0.3；寫文案 / brainstorm 用 0.7~1.0

LLM 的核心機制 & Chain of Thought

輸入: "今天天氣很"

模型內部:
  下一個字機率分佈 = {
    "好":  0.45,
    "熱":  0.20,
    "冷":  0.15,
    "差":  0.08,
    ... (其他 5 萬個 token)
  }

取最高機率（或加 sampling）→ "好"
接回去 → "今天天氣很好"
繼續猜下一個字 → "，"
繼續猜 → "適合"
繼續猜 → "出門"
... 直到輸出 <end> token

Chain of Thought：讓模型「先想再答」

每一步的 token 都有前一步當 context，準確度就會提升。先讓模型輸出推理過程，再輸出答案。

現代 reasoning model（Claude thinking、o1）會自動做 CoT。不用特別 prompt。

那麼，Agent 到底是什麼？

Agent vs Chatbot

三種典型 Agent

🔧 課前準備：Gemini API 申請

export GEMINI_API_KEY="你的key"

Part 3 動手做 agent 時會用到。如果還沒申請，趁休息時間處理。

為什麼會「幻覺」？

因為它不知道自己「知不知道」。

• 沒看過的事實 → 補一個聽起來合理的
• 機率分佈總會給出一個答案，不會 return null
• 越罕見的問題，越容易出包

為什麼數學會錯？

它沒在算，它在「回憶看過類似題目的答案」。

解法：給它 calculator 工具。這就是 Part 3 要做的。

Context Engineering

2022-2023 大家研究：「那一句問句」怎麼寫

• Few-shot：給範例
• Chain of Thought
• Role play
• Output format

這些技巧現在還有用，但已經不是主戰場。

Context Engineering 的時代

2024+ 重點變成：整個 context 怎麼設計

同模型，不同 Context

同一個模型，差別只在 context engineering。

模型是引擎，Context 是駕駛。
一樣的引擎能做計程車，也能做賽車。

System Message + 結構化輸出

System Message

對話開始前給模型的「角色設定」。不是對話的一部分，而是設定模型的行為基調。

在 Agent 中：System message 定義了 agent 的「人格」和「行為邊界」——該做什麼、不該做什麼、遇到錯誤怎麼處理。

結構化輸出

• 模型要告訴你「我要呼叫 calculator(1+1)」
• 程式要解析 → 找出 tool name 和參數
• 解法：強制用 JSON 輸出

兩種做法

• JSON Mode / Structured Output：模型保證輸出合法 JSON
• Tool Use / Function Calling：更高層抽象，直接告訴你要呼叫的工具與參數

Tool Use 概念

給模型一份「工具清單」，模型可以選擇：

• 直接回答（如果它會）
• 「我要呼叫某個工具」（如果它需要外部資訊或動作）

程式接到工具呼叫 → 真的去執行 → 把結果回給模型 → 模型決定下一步。

3.2Tool Use 訊息流

Tool Use 程式碼

tools = [{
    "name": "calculator",
    "description": "進行四則運算，回傳結果",
    "input_schema": {
        "type": "object",
        "properties": {"expression": {"type": "string"}},
        "required": ["expression"]
    }
}]

response = client.messages.create(
    model="claude-sonnet-4-5",
    tools=tools,
    messages=[{"role": "user", "content": "幫我算 23 * 47"}]
)

tools = [{
    "type": "function",
    "function": {
        "name": "calculator",
        "description": "進行四則運算，回傳結果",
        "parameters": {
            "type": "object",
            "properties": {"expression": {"type": "string"}},
            "required": ["expression"]
        }
    }
}]

response = client.chat.completions.create(
    model="gemini-3.1-flash-lite",
    tools=tools,
    messages=[{"role": "user", "content": "幫我算 23 * 47"}]
)

API 實際呼叫：Basic Chat

{
  "model": "gemini-3.1-flash-lite",
  "messages": [
    {
      "role": "user",
      "content": "用一句話解釋什麼是 API"
    }
  ]
}

{
  "choices": [{
    "message": {
      "role": "assistant",
      "content": "API 就是一份「菜單」——你照格式點餐，後廚（伺服器）就會把做好的結果端給你，你不需要知道廚房裡怎麼運作的。"
    }
  }],
  "usage": {
    "prompt_tokens": 18,
    "completion_tokens": 52,
    "total_tokens": 70
  }
}

Q10Agent vs Chatbot

Q11從一輪 Tool Use 到 Agent Loop

如果模型呼叫工具後，需要再呼叫另一個工具怎麼辦？

例：「30 天後是星期幾？」

Q11Agent Loop — 核心 15 行

messages = [{"role": "user", "content": user_input}]

while True:
    response = client.messages.create(
        model=MODEL, tools=tools, messages=messages
    )
    messages.append({"role": "assistant", "content": response.content})

    if response.stop_reason == "end_turn":
        break  # 模型不再需要工具，結束

    tool_results = []
    for block in response.content:
        if block.type == "tool_use":
            result = execute_tool(block.name, block.input)
            tool_results.append({
                "type": "tool_result",
                "tool_use_id": block.id,
                "content": result,
            })
    messages.append({"role": "user", "content": tool_results})

messages = [{"role": "user", "content": user_input}]

while True:
    response = client.chat.completions.create(
        model=MODEL, tools=tools, messages=messages
    )
    msg = response.choices[0].message
    messages.append(msg)

    if msg.tool_calls is None:
        break  # 模型不再需要工具，結束

    for tc in msg.tool_calls:
        result = execute_tool(tc.function.name,
                              json.loads(tc.function.arguments))
        messages.append({
            "role": "tool",
            "tool_call_id": tc.id,
            "content": str(result),
        })

Q11這 15 行就是 Agent 的全部本質

後面所有「花俏的東西」都是在這上面加裝飾：

框架會換、模型會變，但這個結構不變。

Q11ReAct Pattern

論文 ReAct: Synergizing Reasoning and Acting（2022）提出的模式：

Thought:    "使用者想知道 30 天後是星期幾，我先拿今天日期"
Action:     get_current_time()
Observation: "2026-05-16"

Thought:    "今天 5/16，加 30 天是 6/15"
Action:     get_weekday("2026-06-15")
Observation: "星期一"

Thought:    "可以回答了"
Final:      "2026 年 6 月 15 日是星期一。"

現在的 Claude / GPT 已經內建這個模式，不用特別 prompt 它。

API DemoTool Use — 完整生命週期

{"role": "user", "content": "幫我算 (15 * 23) + 100 是多少？"}

{
  "tool_calls": [{
    "id": "call_abc123",
    "function": {
      "name": "calculator",
      "arguments": "{\"expression\": \"(15 * 23) + 100\"}"
    }
  }]
}

eval("(15 * 23) + 100")  # → 445

{"role": "tool", "tool_call_id": "call_abc123", "content": "445"}

{
  "content": "(15 * 23) + 100 = 445",
  "finish_reason": "stop"
}

Q12好的工具描述 vs 爛的工具描述

{
  "name": "search",
  "description": "search something"
}

{
  "name": "search_web",
  "description": "Search the public internet for current info. Use when user asks about events after 2024 or current data. Returns top 5 results: title, snippet, URL."
}

工具描述 = 給 LLM 的使用說明書。寫得好 agent 表現翻倍。

Q12多工具：File System Agent

給 agent 一組「能讀寫檔案」的工具：

給它任務：「看看資料夾裡有什麼，幫我寫一份摘要。」

關鍵觀察：沒有人教它「先 list 再 read 再 write」，它自己規劃。

Q13Context Engineering 在 Agent 的四個重點

Q13Token Budget — 四種策略

Part 3 小結

你剛剛學會的東西：

• Tool use 的訊息流
• Agent loop 的核心 15 行
• 多工具規劃
• System prompt、工具描述、error handling、token budget

Agent 不神秘。它就是一個 while 迴圈、一些工具、和一個會選工具的 LLM。

Harness

harness = 馬具、挽具

在 AI 圈，特指「把模型套上來用的整套裝置」。

Claude（模型）可以同時跑在：

同模型、三種 harness、行為完全不同。

Harness 包含什麼？

核心三件套

外圍配件

Claude Code System Prompt（節錄）

You are Claude Code, Anthropic's official CLI for Claude...

# Doing tasks
- The user will primarily request you to perform
  software engineering tasks...
- Prefer editing existing files to creating new ones.
- Don't add features, refactor, or introduce abstractions
  beyond what the task requires.

# Using your tools
- Prefer dedicated tools over Bash when one fits
  (Read, Edit, Write)
- Use TodoWrite to plan and track work.
- You can call multiple tools in a single response.

# Tone and style
- Only use emojis if the user explicitly requests it.
- Your responses should be short and concise.

完整 system prompt 約 5000+ tokens。Anthropic 投入大量 prompt engineering 進去。

工具粒度

太粗（給 bash 就好）→ 模型亂下指令；太細 → tool 太多模型選不出來。

課程範例 vs Claude Code

Memory 概念

給 agent 兩個工具：save_memory 和 load_memory

• 工具背後就是讀寫 memory.json
• 每次對話開始時 agent 自己決定要不要讀取記憶
• 更進階：向量資料庫（語意搜尋）、圖資料庫（關聯記憶）

核心概念都一樣：agent 透過工具存取資訊。

Subagent — Context Isolation

為什麼需要：主對話 context 越長越貴 + 模型越混亂。

主對話只看到「結果」，不被中間 100 步污染。

Prompt Injection + Agent 安全

Prompt injection 是攻擊者透過輸入文字，覆蓋或繞過 system message 的限制。

為什麼 Agent 更危險？

防禦策略

• Sandbox：在受限環境中執行
• Permission system：危險操作需使用者批准
• Read-only by default
• Audit log：記錄所有 tool call

評估 Agent（Eval）

為什麼這很難

• Agent 任務是開放式的，沒有「正確答案」
• 兩個 agent 都「完成任務」但方法/品質可能差很多
• 不像分類任務有 accuracy 可以算

業界做法

• 固定任務集 + 評分標準：SWE-bench
• LLM-as-judge：用另一個 LLM 評分
• 人工 spot check

做 agent 不難，做品質穩定的 agent 很難。

推薦工具：Inspect（UK AISI）、Promptfoo

其他 Harness 比較

觀察

模型快變成「商品」，Harness 才是差異化。

想做出有特色的 agent 產品？

• 不要追最新模型（一週後就被超車）
• 把心力放在 harness：工具、context、UI、安全
• 找到一個「真實工作流程」深入優化

不需要 GPU

完全可以，而且今天課程就是證明。

Agent 是「用 API」，不是「跑模型」。一台普通筆電 + 網路就夠了。

今天的 7 個範例約 32 次 API 呼叫、約 7,150 tokens，全部在 Gemini 免費額度內。

下一步

推薦資源

• Anthropic Cookbook：github.com/anthropics/anthropic-cookbook
• Anthropic Engineering Blog
• Simon Willison's Blog
• Latent Space Podcast

建議路徑

1. 馬上做：把今天的範例改成自己的專案
2. 每天用：養成用 AI 輔助工作的習慣
3. 讀 source：Claude Code 是 open-source
4. 挑戰自己：寫一個能解決實際問題的 agent

總架構圖

↑ Context（engineered）

核心訊息

Agent = LLM + Tools + Loop + Context

框架會換、模型會變，但這個結構不變。

你今天看到它的全貌了。