diff --git a/README_BUILD183.txt b/README_BUILD183.txt new file mode 100644 index 0000000..8f9d308 --- /dev/null +++ b/README_BUILD183.txt @@ -0,0 +1,60 @@ +BUILD183 — 2026.10.02.4 +Поля SQL в Mapping до выбора игрока + +Установка поверх BUILD182: +1. Остановите сервер и сохраните копии четырёх заменяемых файлов. +2. Распакуйте архив в корень проекта, где находится app.py, с сохранением папок. +3. Запустите сервер. Обновите браузер Ctrl+F5. + +В архиве только изменённые файлы программы и эта инструкция. База данных, +локальные конфиги, сохранённые SQL и существующие связи не заменяются. +Миграция БД и новые зависимости не требуются. + +Что исправлено: +- Если в runtime нет игрока, окно Mapping больше не передаёт пустой + selected_player_id поверх сохранённого выбора оператора. +- Когда обязательный ID ещё не выбран, административный каталог и проверка SQL + получают структуру результата через SELECT ... LIMIT 0, без выборки строк. + Поля включённого сохранённого источника можно связывать с любым Input заранее. +- Проверка SQL показывает колонки и предупреждение о недостающих переменных. + Для проверки значений выберите игрока в главном блоке «Выбранный игрок» или + задайте external ID в разделе «Переменные» для текущего матча. +- Настоящее выполнение SQL для титров по-прежнему требует выбранного игрока. + Список полей из редактора не отправляется в vMix как пустые данные. + Кнопки блоков сохраняют свой контекст игрока и обновляют SQL перед Preview. +- Описание структуры действует только в административном редакторе, + ограничено read-only транзакцией и таймаутом 2 секунды. Есть небольшой + ограниченный кэш структуры на 60 секунд; изменение текста SQL сразу даёт + новую структуру. Автообновление и таймеры не запускают этот механизм. + +Как связать тот же запрос с другим титром: +1. Сохраните SQL-источник и оставьте «Источник включён» включённым. +2. Откройте Mapping и выберите нужный Input по названию. +3. Найдите поля своего источника и создайте/сохраните нужные связи. + Игрок не обязан быть выбран, чтобы настроить эти связи. +4. Для проверки реальных значений выберите игрока и проверьте SQL/вызов титра. + Включать автообновление ради создания связи не требуется. + +Исправление в присланном запросе «Выбранный игрок»: +Строка p.external_id AS "id", p.* создаёт два поля с именем id. +Поле из p.* может заменить внешний ID внутренним p.id при чтении результата. +Для перечисленных в запросе полей замените эту строку на: + + p.external_id AS "id", + p.id AS "player_db_id", + +Остальная часть запроса остаётся такой же. Если нужны другие поля из p.*, +перечислите их явно с уникальными именами. Сохранённый SQL автоматически +не переписывается. + +Проверено локально: +- 6 новых проверок: структура без выбора, реальное выполнение после выбора, + сохранность SQL, отсутствие вычисления строк при получении структуры, + обработка ошибки структуры, PostgreSQL read-only/таймаут/rollback, + административный каталог и отсутствие пустых команд в vMix. +- Существующие проверки SQL, Mapping, кнопок, удаления и контекста. +- Браузер: связь ко второму Input и сохранение обоих титров при нуле строк, + колонки/предупреждение, внешний ID, язык, сохранность черновика. +- Python/JavaScript проверены на синтаксис. +Реальный сервер PostgreSQL и подключение к вашему vMix в этой проверке +не использовались: проверки выполнялись изолированно и с имитацией команд. diff --git a/app.py b/app.py index 406dbeb..25985c8 100644 --- a/app.py +++ b/app.py @@ -35,7 +35,7 @@ from khl_site.khl_data_center import APP as khl_site_app, configure_storage, syn from hockey_data.khl_career import KhlCareerService BASE_DIR = Path(__file__).resolve().parent -BUILD_VERSION = "2026.10.02.3" +BUILD_VERSION = "2026.10.02.4" # compatibility: BUILD_VERSION = "2026.09.24.2" # compatibility: BUILD_VERSION = "2026.09.23.8" # compatibility: BUILD_VERSION = "2026.09.23.7" diff --git a/hockey_data/agent_bridge.py b/hockey_data/agent_bridge.py index 09f7fec..e0a4d79 100644 --- a/hockey_data/agent_bridge.py +++ b/hockey_data/agent_bridge.py @@ -5540,7 +5540,7 @@ def create_hockey_agent_router( @router.post("/api/hockey/admin/mapping-data/catalog", dependencies=admin) @db_endpoint def mapping_data_catalog(payload: MappingDataContextPayload, user: HockeyUser = Depends(auth_dependency)) -> dict[str, Any]: - return hub.mapping_data.data_catalog(user, payload.context) + return hub.mapping_data.data_catalog(user, payload.context, describe_missing=True) # BUILD86: static context routes MUST be registered before /{key}. # Starlette matches routes in registration order; the old order treated the diff --git a/hockey_data/mapping_context.py b/hockey_data/mapping_context.py index e71f2e8..05e6d08 100644 --- a/hockey_data/mapping_context.py +++ b/hockey_data/mapping_context.py @@ -4,6 +4,7 @@ import json import re from datetime import datetime from threading import RLock +from time import monotonic from typing import Any from fastapi import HTTPException @@ -299,6 +300,8 @@ class MappingDataService: self.on_configuration_change = None self._defaults_ready = False self._defaults_lock = RLock() + self._source_schema_lock = RLock() + self._source_schema_cache: dict[str, tuple[float, list[str]]] = {} def _configuration_changed(self) -> None: if self.on_configuration_change is not None: @@ -927,7 +930,38 @@ class MappingDataService: if isinstance(value, (int, float)): return "number" return "text" - def _run_source(self, source: MappingSqlDataSource, context: dict[str, str], *, max_rows: int = 25) -> dict[str, Any]: + def _describe_source_sql(self, sql_text: str, params: set[str]) -> dict[str, Any]: + """Expose columns to the editor without running a query for a missing selection.""" + with self._source_schema_lock: + cached = self._source_schema_cache.get(sql_text) + if cached is not None and monotonic() - cached[0] < 60: + return {"columns": list(cached[1]), "schema_only": True} + try: + with self.database.engine.connect() as connection: + transaction = connection.begin() + try: + if connection.dialect.name == "postgresql": + connection.execute(text("SET TRANSACTION READ ONLY")) + connection.execute(text("SET LOCAL statement_timeout = '2000ms'")) + # The outer LIMIT prevents row evaluation even for aggregates, + # CTEs and sources which already have their own LIMIT/ORDER BY. + result = connection.execute( + text(f'SELECT * FROM ({sql_text}) AS mapping_schema LIMIT 0'), + {name: None for name in params}, + ) + columns = list(dict.fromkeys(str(key) for key in result.keys())) + finally: + transaction.rollback() + except SQLAlchemyError as error: + return {"columns": [], "schema_only": True, + "schema_error": str(error).splitlines()[0][:500]} + if len(self._source_schema_cache) >= 64: + self._source_schema_cache.pop(next(iter(self._source_schema_cache))) + self._source_schema_cache[sql_text] = (monotonic(), columns) + return {"columns": list(columns), "schema_only": True} + + def _run_source(self, source: MappingSqlDataSource, context: dict[str, str], *, max_rows: int = 25, + describe_missing: bool = False) -> dict[str, Any]: params = self.validate_sql(source.sql_text) sql_text = self._normalise_sql(source.sql_text) # Blank captions clear old title text. Only penalty-player identifiers @@ -937,7 +971,10 @@ class MappingDataService: missing = sorted(name for name in params if name not in _NULLABLE_PENALTY_PLAYER_PARAMS and (name not in context or (not context.get(name) and not blank_caption(name)))) if missing: - return {"ok": True, "skipped": True, "missing": missing, "columns": [], "rows": [], "row_count": 0} + result = {"ok": True, "skipped": True, "missing": missing, "columns": [], "rows": [], "row_count": 0} + if describe_missing: + result.update(self._describe_source_sql(sql_text, params)) + return result bound = {name: (None if name in _NULLABLE_PENALTY_PLAYER_PARAMS and not str(context.get(name) or "").strip() else context.get(name, "")) for name in params} @@ -966,7 +1003,7 @@ class MappingDataService: pass source = _PreviewSource() source.sql_text = str(sql_text or "") - result = self._run_source(source, context, max_rows=250) + result = self._run_source(source, context, max_rows=250, describe_missing=True) return {"context": context, "variables": variables, **result} def preview_source(self, source_id: int, user: HockeyUser, supplied: dict[str, Any] | None = None) -> dict[str, Any]: @@ -975,7 +1012,7 @@ class MappingDataService: source = session.get(MappingSqlDataSource, source_id) if source is None: raise HTTPException(status_code=404, detail="SQL-источник не найден") payload = self._source_payload(source) - result = self._run_source(source, context, max_rows=250) + result = self._run_source(source, context, max_rows=250, describe_missing=True) return {"source": payload, "context": context, "variables": variables, **result} @staticmethod @@ -1247,6 +1284,7 @@ class MappingDataService: *, source_codes: set[str] | None = None, allow_source_errors: bool = False, + describe_missing: bool = False, ) -> dict[str, Any]: self.ensure_defaults() language = self._current_language(supplied) @@ -1279,7 +1317,10 @@ class MappingDataService: # larger read-only window than the compact SQL preview. 250 rows covers # rosters, standings and most hockey tables without changing the SQL. try: - result = self._run_source(source, context, max_rows=250) + source_options = {"max_rows": 250} + if describe_missing: + source_options["describe_missing"] = True + result = self._run_source(source, context, **source_options) except HTTPException as error: if not allow_source_errors or error.status_code not in {400, 422}: raise @@ -1402,6 +1443,7 @@ class MappingDataService: "columns": visible_columns, "raw_columns": [raw_column_info[column] for column in columns], "rows": table_rows, "row_count": len(table_rows), "ok": result.get("ok", False), "skipped": result.get("skipped", False), "missing": result.get("missing", []), + "schema_only": result.get("schema_only", False), "schema_error": result.get("schema_error", ""), "error": result.get("error", ""), "language": language, "localized_pairs": [ {"base": pair["base"], "rus": pair["RUS"], "eng": pair["ENG"]} diff --git a/hockey_data/static/admin-directories.js b/hockey_data/static/admin-directories.js index 861bb45..1314b5b 100644 --- a/hockey_data/static/admin-directories.js +++ b/hockey_data/static/admin-directories.js @@ -1540,18 +1540,24 @@ } return ""; }; - return { + const context = { game_id: value(game, ["external_id", "id"]), tournament_id: value(game, ["tournament_external_id"]) || value(tournament, ["external_id", "id"]) || selected.tournamentId || "", team1_id: value(game, ["home_team_external_id"]) || value(home, ["external_id", "id", "team_id"]), team2_id: value(game, ["away_team_external_id"]) || value(away, ["external_id", "id", "team_id"]), - selected_player_id: value(selectedPlayer, ["external_id", "id", "player_id"]), - selected_player_team_id: value(selectedPlayer, ["team.external_id", "team.id", "team_id"]), // The language switch updates local preference before the new match // details arrive. Never let the previous match payload override it. ui_language: String(runtimeStorage.getItem("hockey.language") || state.language || runtime.language?.display || "ru").toLowerCase() === "en" ? "en" : "ru", session_token: selected.token || "", }; + const selectedPlayerId = value(selectedPlayer, ["external_id", "id", "player_id"]); + // Player panels persist their selection in server context. An absent player + // in this runtime payload must not clear that saved choice in the editor. + if (selectedPlayerId) { + context.selected_player_id = selectedPlayerId; + context.selected_player_team_id = value(selectedPlayer, ["team.external_id", "team.id", "team_id"]); + } + return context; } let mappingCatalogRequestRevision = 0; @@ -2792,10 +2798,12 @@ let previewMarkup = `
Нажмите «Проверить SQL», чтобы увидеть реальные колонки и строки текущего матча.
`; if (preview) { if (preview.error) previewMarkup = `
${escapeHtml(preview.error)}
`; - else if (preview.skipped) previewMarkup = `
Не хватает переменных: ${escapeHtml((preview.missing || []).map((x) => `:${x}`).join(", "))}
`; else { - const columns = preview.columns || []; - previewMarkup = `
${Number(preview.row_count || 0)} строк · ${columns.length} колонок
${columns.map((c) => ``).join("")}${(preview.rows || []).map((row) => `${columns.map((c) => ``).join("")}`).join("")}
${escapeHtml(c)}
${escapeHtml(mappingDisplayValue(row[c]))}
`; + const columns = Array.isArray(preview.columns) ? preview.columns : []; + const missingMarkup = preview.skipped ? `
Не хватает переменных: ${escapeHtml((preview.missing || []).map((x) => `:${x}`).join(", "))}. Выберите игрока или задайте отсутствующие переменные, чтобы проверить данные.${columns.length ? " Поля запроса уже доступны для привязки в Mapping." : ""}
` : ""; + const schemaErrorMarkup = preview.schema_error ? `
Не удалось получить список полей SQL: ${escapeHtml(preview.schema_error)}
` : ""; + const resultMarkup = columns.length || !preview.skipped ? `
${preview.skipped ? "Только структура запроса" : `${Number(preview.row_count || 0)} строк`} · ${columns.length} колонок
${columns.map((c) => ``).join("")}${(preview.rows || []).map((row) => `${columns.map((c) => ``).join("")}`).join("")}
${escapeHtml(c)}
${escapeHtml(mappingDisplayValue(row[c]))}
` : ""; + previewMarkup = `${missingMarkup}${schemaErrorMarkup}${resultMarkup}`; } } return `
@@ -3282,7 +3290,7 @@ }; try { state.mappingSqlPreview = await request("/api/hockey/admin/mapping-data/preview-sql", { method: "POST", body: JSON.stringify({ sql_text: payload.sql_text, context: mappingRequestContext() }) }); - setStatus(state.mappingSqlPreview.skipped ? "SQL корректен, но не хватает параметров." : "SQL выполнен в read-only режиме."); + setStatus(state.mappingSqlPreview.schema_error ? "Не удалось получить поля SQL. Проверьте сообщение под запросом." : state.mappingSqlPreview.skipped ? ((state.mappingSqlPreview.columns || []).length ? "Поля SQL доступны для привязки. Для проверки данных задайте недостающие параметры." : "Для проверки SQL не хватает параметров.") : "SQL выполнен в read-only режиме.", Boolean(state.mappingSqlPreview.schema_error)); } catch (error) { state.mappingSqlPreview = { error: error.message }; setStatus(error.message, true); } renderMapping(); });