Интеграция LLM в приложение

Интеграция LLM в приложение — продуктовые фичи на language models: чат, суммаризация, классификация, RAG и **tool use** (function calling). Выход модели вероятностный — проектируйте ограниченное поведение, observability, evaluation и безопасные failure modes.

| Слой | Фокус design | |------|--------------| | Context | Token budgets, качество retrieval, prompt templates, память диалога | | Tools | Узкие API со схемами, authz, idempotency, audit logs | | Streaming | Частичный UX, отмена, backpressure, ошибка mid-stream | | Reliability | Retries, timeouts, fallbacks, circuit breakers, degraded responses | | Safety | Фильтр PII, устойчивость к injection, refusal policies, эскалация к человеку | | Cost | Model routing, cache embeddings, batching, лимиты usage |

					Сообщение → guardrails → retrieve context → LLM → validate structured output →
authorized tool call → audit event → stream клиенту
				

RAG на интервью: chunking, обновление embeddings, цитирование источников, stale docs, метрики precision retrieval — не только «vector DB».

Evaluations: regression suites по safety, выбору tools, latency, cost и golden prompts до rollout; shadow traffic в production где возможно.

На интервью: support bot читает заказы, но не делает refund без подтверждения. Границы authorization, план eval, поведение при галлюцинации order ID.

Типовые ошибки: unbounded admin tools; security только system prompt; нет логов prompt/response (с redaction); одна модель на всё; игнор p95 latency на mobile.

Компромисс — больше tools и context против attack surface, cost и операционной сложности.

Чеклист:

• Tools с least privilege.
• Structured outputs и validation до side effects.
• Offline/online eval gates.
• Redacted observability и cost dashboards.