RAGRAG
chiến lược phân tích và chia nhỏ tài liệu (parsing, chunking), tìm kiếm kết hợp (BM25 + dense), reranking, viết lại truy vấn, câu trả lời bám nguồn kèm trích dẫn.document parsing and chunking strategies, hybrid search (BM25 + dense), reranking, query rewriting, grounded answers with citations.
ChunkingBM25 + denseRerankingQuery rewritingCitations
AgentAgents
gọi công cụ/hàm (tool/function calling), điều phối nhiều bước (LangGraph hoặc tương tự), guardrail và thiết kế có con người tham gia (human-in-the-loop).tool/function calling, multi-step orchestration (LangGraph or similar), guardrails and human-in-the-loop design.
Tool callingLangGraphGuardrailsHuman-in-the-loop
Đánh giá & LLMOpsEvaluation & LLMOps
xây dựng bộ dữ liệu đánh giá, LLM-as-judge, kiểm thử hồi quy cho prompt và mô hình, theo dõi hallucination, độ trễ và chi phí token trên production.building eval datasets, LLM-as-judge, regression testing for prompts and models, monitoring hallucination, latency and token cost in production.
Eval datasetsLLM-as-judgeRegression testsMonitoring
Vận hành mô hìnhModel serving
triển khai mô hình open-weight (Qwen, Llama) bằng vLLM hoặc TGI, lượng tử hóa (AWQ, GPTQ, GGUF), tính cấu hình GPU và tối ưu thông lượng.deploying open-weight models (Qwen, Llama) with vLLM or TGI, quantization (AWQ, GPTQ, GGUF), GPU sizing and throughput tuning.
QwenLlamavLLMTGIAWQGPTQGGUF
Fine-tuningFine-tuning
LoRA/QLoRA và chuẩn bị dữ liệu SFT; biết rõ khi nào nên fine-tune, khi nào nên cải thiện truy xuất hoặc prompt.LoRA/QLoRA and SFT data preparation; clear judgment on when to fine-tune versus improve retrieval or prompting.
LoRAQLoRASFT
Dữ liệu & hạ tầngData & infrastructure
cơ sở dữ liệu vector (pgvector, Qdrant, Milvus), lọc theo metadata và tách biệt dữ liệu nhiều khách hàng (multi-tenant); Python, FastAPI, Docker, CI/CD.vector databases (pgvector, Qdrant, Milvus), metadata filtering and multi-tenant data isolation; Python, FastAPI, Docker, CI/CD.
pgvectorQdrantMilvusPythonFastAPIDockerCI/CD
Bảo mậtSecurity
phòng chống prompt injection, xử lý dữ liệu cá nhân (PII) và kiểm soát truy cập cho hệ thống AI doanh nghiệp.prompt injection defense, PII handling and access control for enterprise AI systems.
Prompt injectionPIIAccess control
Tích hợpIntegration
API cho CRM, ERP và các nền tảng nhắn tin.APIs for CRM, ERP and messaging platforms.
CRMERPMessaging