Quản lý prompt dành cho sản xuất

Một prompt hoạt động tốt trong môi trường phát triển cần ba yếu tố để tồn tại trong môi trường sản xuất: Quản lý phiên bản (để có thể hoàn tác), giám sát (để biết khi nào chất lượng giảm sút) và quản lý chi phí (để hóa đơn không làm bạn bất ngờ).

🔄 Tóm tắt nhanh: Trong Bài học 6, bạn đã xây dựng các framework đánh giá để đo lường chất lượng prompt bằng phương pháp thống kê. Những đánh giá đó trở thành hệ thống giám sát sản xuất của bạn - các chỉ số tương tự mà bạn kiểm tra trong môi trường phát triển, được đo lường liên tục trong môi trường sản xuất.

Quản lý phiên bản prompt

Hãy coi prompt như code. Mỗi thay đổi đều có một phiên bản. Mỗi phiên bản đều có thể triển khai và hoàn tác.

Phiên bản tối thiểu khả thi:

prompts/
├── customer_support/
│   ├── v1.0.0.txt    # Prompt gốc
│   ├── v1.1.0.txt    # Cải thiện khả năng xử lý các trường hợp ngoại lệ
│   ├── v1.2.0.txt    # Bổ sung khả năng phòng thủ chống chèn mã độc
│   └── active.txt    # Liên kết tượng trưng đến phiên bản hiện tại
└── data_extraction/
    ├── v1.0.0.txt
    └── active.txt

Phiên bản theo ngữ nghĩa:

• Bản vá (1.0.x): Chỉnh sửa từ ngữ, sửa lỗi chính tả
• Phiên bản nhỏ (1.x.0): Ví dụ mới, hướng dẫn bổ sung
• Phiên bản lớn (x.0.0): Thay đổi cấu trúc, khả năng mới

Các tùy chọn nền tảng:

Prompt A/B test

Trước khi quảng bá một phiên bản prompt mới, hãy kiểm tra nó với lưu lượng truy cập thực tế:

Thiết lập:

1. Xác định chỉ số chất lượng của bạn (CSAT, độ chính xác, tuân thủ định dạng)
2. Chia lưu lượng truy cập: 90% phiên bản cũ, 10% phiên bản mới
3. Chạy trong 3-7 ngày (cần có ý nghĩa thống kê)
4. So sánh các chỉ số
5. ​​Nếu phiên bản mới thắng → tăng dần lên 100%
6. Nếu phiên bản mới thua → quay lại 100% phiên bản cũ

Với Langfuse:

from langfuse import Langfuse

langfuse = Langfuse()

# Tìm nạp prompt đang hoạt động (tự động xử lý việc gán A/B)
prompt = langfuse.get_prompt("customer_support")

# prompt.prompt contains the assigned version
response = llm.generate(system=prompt.prompt, user=user_input)

# Ghi lại kết quả với phiên bản prompt để theo dõi
langfuse.score(
    trace_id=trace.id,
    name="quality",
    value=quality_score
)

✅ Kiểm tra nhanh: Bạn thực hiện A/B test một prompt mới: Phiên bản A (cũ) có độ chính xác 85%, phiên bản B (mới) có độ chính xác 87%. Bạn có nên quảng bá phiên bản B không?

Câu trả lời: Trước tiên hãy kiểm tra kích thước mẫu. Nếu phiên bản B chỉ xử lý 50 yêu cầu, thì 87% có thể là nhiễu. Bạn cần 200-500+ quan sát cho mỗi phiên bản để đạt kết quả có ý nghĩa thống kê. Cũng cần kiểm tra xem phiên bản B có cải thiện ở các trường hợp ngoại lệ hay trường hợp chuẩn không? Việc cải thiện ở các trường hợp ngoại lệ hiếm gặp có thể không quan trọng bằng hiệu suất ổn định ở những trường hợp phổ biến.

Tối ưu hóa chi phí

Ba chiến lược, được sắp xếp theo tác động:

1. Lưu cache prompt (Tác động lớn nhất)

Cấu trúc prompt của bạn với nội dung tĩnh trước:

# TỐT: Nội dung tĩnh được ưu tiên trước (có thể lưu vào cache), nội dung biến được ưu tiên sau
messages = [
    {"role": "system", "content": STATIC_SYSTEM_PROMPT},  # Đã lưu vào cache sau lần gọi đầu tiên
    {"role": "user", "content": STATIC_CONTEXT},           # Đã lưu vào cache
    {"role": "user", "content": variable_user_query}       # Biến
]

# TỆ: Nội dung thay đổi được trộn lẫn (gây lỗi cache)
messages = [
    {"role": "system", "content": f"Help {user_name} with {topic}"},  # Never cached
    {"role": "user", "content": query}
]

OpenAI: Lưu cache tự động, giảm 50% chi phí cho các token được lưu vào cache. Anthropic: lưu vào bộ nhớ cache rõ ràng, giảm tới 90%.

2. Định tuyến mô hình (Quan trọng thứ hai)

Định tuyến các tác vụ đến mô hình có kích thước phù hợp:

def route_to_model(task_type: str) -> str:
    if task_type in ["classify", "extract", "format"]:
        return "gpt-4.1-mini"  # Fast, cheap
    elif task_type in ["analyze", "reason", "create"]:
        return "gpt-4.1"       # Balanced
    elif task_type in ["complex_reasoning", "multi_step"]:
        return "gpt-5"         # Premium

3. Quản lý token

• Đặt max_tokens để ngăn chặn đầu ra vượt quá giới hạn
• Sử dụng chế độ xử lý hàng loạt cho quá trình xử lý không theo thời gian thực (giảm giá 50% trên OpenAI)
• Nén ngữ cảnh: Tóm tắt các cuộc hội thoại dài thay vì gửi toàn bộ lịch sử

Giám sát sản xuất

Theo dõi liên tục các chỉ số này:

Chuỗi quan sát:

Yêu cầu người dùng → Phiên bản prompt → Gọi LLM → Phản hồi
    ↓              ↓              ↓           ↓
 Nhật ký đầu vào    Phiên bản track    Token nhật ký   Chất lượng nhật ký
                                Độ trễ nhật ký   Định dạng nhật ký

Khi chất lượng giảm, bạn có thể truy vết phiên bản prompt nào, mô hình nào, mẫu đầu vào nào gây ra sự cố?

Những điểm chính cần ghi nhớ

• Phiên bản prompt theo ngữ nghĩa (major.minor.patch) và giữ cho mọi phiên bản có thể triển khai và đảo ngược
• Thực hiện A/B test các thay đổi prompt trước khi triển khai đầy đủ - những cải tiến trong thử nghiệm có thể gây ra lỗi trong môi trường sản xuất
• Lưu cache prompt là tối ưu hóa chi phí số 1: Nội dung tĩnh trước, nội dung biến đổi sau, tiết kiệm đến 90%
• Định tuyến mô hình phù hợp với độ phức tạp của tác vụ với chi phí mô hình - không sử dụng GPT-5 để phân loại
• Giám sát liên tục độ trễ, tỷ lệ lỗi, tuân thủ định dạng, chi phí và chất lượng
• Khi chất lượng giảm, hãy truy vết đến phiên bản prompt và mẫu đầu vào cụ thể