ychernenko/KHL
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Merge branch 'main' of https://git.tvstart.ru/ychernenko/KHL

Browse Source
This commit is contained in:
Юрий Черненко
2025-11-10 19:08:06 +03:00
parent 9778efef99 fb12719e60
commit 711e217d6e
7 changed files with 212 additions and 184 deletions
Download Patch File Download Diff File Expand all files Collapse all files

5
.gitignore vendored
View File

@@ -1 +1,4 @@
.env
.env
/.venv
/logs/*
/__pycache__

BIN
__pycache__/get_data.cpython-312.pyc
View File

Binary file not shown.

BIN
__pycache__/smb_excel.cpython-312.pyc
View File

Binary file not shown.

375
deploy.sh Normal file → Executable file
View File

@@ -4,18 +4,20 @@
RED='\033[0;31m'
GREEN='\033[0;32m'
YELLOW='\033[1;33m'
BLUE='\033[0;34m'
NC='\033[0m' # No Color
# Конфигурация
REPO_URL="https://git.tvstart.ru/ychernenko/KHL.git"
TARGET_DIR="/root/KHL"
SERVICE_NAME="khl-data.service"
show_help() {
echo "Использование: $0 -t <домашняя команда> -r <релиз> [-l <лига>]"
echo " -t Домашняя команда"
echo "Использование: $0 -r <релиз> [-h]"
echo " -r Релиз (тег или ветка в git)"
echo " -l Лига (опционально)"
echo " -h Показать эту справку"
echo ""
echo "Пример: $0 -t cska -r main"
echo "Пример: $0 -t zenit -r Barabanov_TEST -l vtb"
echo "Пример: $0 -t avtodor -r main"
echo "Пример: $0 -r Barabanov_TEST"
echo ""
exit 0
}
@@ -33,13 +35,41 @@ log_error() {
echo -e "${RED}[ERROR]${NC} $1" >&2
}
log_debug() {
echo -e "${BLUE}[DEBUG]${NC} $1" >&2
}
# Функция проверки зависимостей системы
check_dependencies() {
local deps=("git" "python3" "pip3" "netstat" "systemctl")
local missing=()
for dep in "${deps[@]}"; do
if ! command -v "$dep" &> /dev/null; then
missing+=("$dep")
fi
done
if [ ${#missing[@]} -ne 0 ]; then
log_warn "Отсутствуют некоторые команды: ${missing[*]}"
return 1
fi
return 0
}
# Функция проверки и установки пакетов
install_packages() {
log_info "Обновление списка пакетов..."
apt-get update
if ! apt-get update; then
log_error "Ошибка при обновлении списка пакетов"
exit 1
fi
log_info "Установка необходимых пакетов..."
apt-get install -y python3 python3-pip python3-venv git net-tools
if ! apt-get install -y python3 python3-pip python3-venv git net-tools; then
log_error "Ошибка при установке пакетов"
exit 1
fi
# Проверка установки
if ! command -v python3 &> /dev/null; then
@@ -58,32 +88,36 @@ install_packages() {
# Функция загрузки кода
download_code() {
local repo_url="https://git.tvstart.ru/ychernenko/RFB.git"
local release="$1"
local target_dir="/root/RFB"
local target_dir="$TARGET_DIR"
log_info "Создание рабочей директории $target_dir..."
mkdir -p $target_dir
mkdir -p "$target_dir"
if [ -d "$target_dir/.git" ]; then
log_info "Обновление существующего репозитория..."
cd $target_dir
cd "$target_dir" || exit 1
git fetch --all
git checkout $release
git pull origin $release
if ! git checkout "$release"; then
log_error "Не удалось переключиться на релиз $release"
log_info "Доступные ветки:"
git branch -r
exit 1
fi
git pull origin "$release"
else
log_info "Клонирование репозитория $repo_url..."
git clone $repo_url $target_dir
cd $target_dir
git checkout $release
fi
# Проверка успешности checkout
if [ $? -ne 0 ]; then
log_error "Не удалось переключиться на релиз $release"
log_error "Доступные ветки:"
git branch -r
exit 1
log_info "Клонирование репозитория $REPO_URL..."
if ! git clone "$REPO_URL" "$target_dir"; then
log_error "Ошибка при клонировании репозитория"
exit 1
fi
cd "$target_dir" || exit 1
if ! git checkout "$release"; then
log_error "Не удалось переключиться на релиз $release"
log_info "Доступные ветки:"
git branch -r
exit 1
fi
fi
log_info "Код успешно загружен (релиз: $release)"
@@ -93,11 +127,20 @@ download_code() {
# Функция настройки виртуального окружения
setup_venv() {
local target_dir="/root/RFB"
cd $target_dir
local target_dir="$TARGET_DIR"
cd "$target_dir" || exit 1
# Удаляем существующее виртуальное окружение для чистоты
if [ -d ".venv" ]; then
log_info "Удаление существующего виртуального окружения..."
rm -rf .venv
fi
log_info "Создание виртуального окружения..."
python3 -m venv .venv
if ! python3 -m venv .venv; then
log_error "Не удалось создать виртуальное окружение"
exit 1
fi
if [ ! -f ".venv/bin/activate" ]; then
log_error "Не удалось создать виртуальное окружение"
@@ -108,7 +151,9 @@ setup_venv() {
source .venv/bin/activate
# Обновление pip
pip install --upgrade pip
if ! pip install --upgrade pip; then
log_warn "Не удалось обновить pip"
fi
# Проверка наличия requirements.txt
if [ -f "requirements.txt" ]; then
@@ -117,24 +162,29 @@ setup_venv() {
log_info "Все зависимости успешно установлены"
else
log_error "Ошибка при установке зависимостей из requirements.txt"
log_warn "Попытка установки базовых зависимостей..."
pip install requests pandas numpy
exit 1
fi
else
log_warn "Файл requirements.txt не найден, устанавливаем базовые зависимости..."
pip install requests pandas numpy
if ! pip install requests pandas numpy fastapi uvicorn python-telegram-handler python-dotenv; then
log_error "Ошибка при установке базовых зависимостей"
exit 1
fi
fi
# Проверка основных пакетов
log_info "Проверка установки основных пакетов..."
python -c "
if ! python -c "
try:
import requests, pandas, numpy
print('✓ Все основные пакеты успешно импортируются')
except ImportError as e:
print(f'✗ Ошибка импорта: {e}')
exit(1)
"
"; then
log_error "Ошибка при проверке пакетов"
exit 1
fi
log_info "Установленные пакеты:"
pip list --format=columns
@@ -142,45 +192,34 @@ except ImportError as e:
# Функция создания systemd сервиса
create_systemd_service() {
local team="$1"
local league="$2"
log_info "Создание systemd сервиса для команды: $team"
if [ -n "$league" ]; then
log_info "Лига: $league"
fi
log_info "Создание systemd сервиса"
# Останавливаем и отключаем старый сервис если он есть
if systemctl is-active --quiet rfb-data.service; then
log_info "Остановка rfb-data.service..."
systemctl stop rfb-data.service
if systemctl is-active --quiet "$SERVICE_NAME"; then
log_info "Остановка $SERVICE_NAME..."
systemctl stop "$SERVICE_NAME"
fi
if systemctl is-enabled --quiet rfb-data.service; then
log_info "Отключение rfb-data.service..."
systemctl disable rfb-data.service
if systemctl is-enabled --quiet "$SERVICE_NAME"; then
log_info "Отключение $SERVICE_NAME..."
systemctl disable "$SERVICE_NAME"
fi
# Формируем команду для data сервиса
local data_command="/root/RFB/.venv/bin/python3 /root/RFB/get_data.py --team \"$team\""
if [ -n "$league" ]; then
data_command="$data_command --league \"$league\""
fi
# Создаем сервисный файл в правильной директории
local data_service_file="/etc/systemd/system/rfb-data.service"
local data_command="$TARGET_DIR/.venv/bin/python3 $TARGET_DIR/get_data.py"
local data_service_file="/etc/systemd/system/$SERVICE_NAME"
log_info "Создание файла сервиса: $data_service_file"
cat > "$data_service_file" << EOF
[Unit]
Description=RFB Data Service
Description=KHL Data Service
After=network.target
[Service]
Type=simple
User=root
WorkingDirectory=/root/RFB
Environment=PATH=/root/RFB/.venv/bin
WorkingDirectory=$TARGET_DIR
Environment=PATH=$TARGET_DIR/.venv/bin
ExecStart=$data_command
Restart=always
RestartSec=30
@@ -195,16 +234,22 @@ EOF
chmod 644 "$data_service_file"
log_info "Перезагрузка systemd демона..."
systemctl daemon-reload
if ! systemctl daemon-reload; then
log_error "Ошибка при перезагрузке systemd демона"
exit 1
fi
log_info "Включение сервиса rfb-data.service..."
systemctl enable rfb-data.service
log_info "Включение сервиса $SERVICE_NAME..."
if ! systemctl enable "$SERVICE_NAME"; then
log_error "Ошибка при включении сервиса"
exit 1
fi
}
# Функция проверки файлов
check_required_files() {
local target_dir="/root/RFB"
cd $target_dir
local target_dir="$TARGET_DIR"
cd "$target_dir" || exit 1
local missing_files=()
local required_files=("get_data.py")
@@ -230,74 +275,26 @@ check_required_files() {
fi
}
# Функция определения IP и команды (исправленная)
detect_team() {
local team_arg="$1"
# Определение IP адреса
if [[ "$(uname -s)" == "Linux" ]]; then
ip_address=$(ip route get 1 2>/dev/null | awk '{print $7; exit}' ||
ip a 2>/dev/null | grep -Eo 'inet (addr:)?([0-9]*\.){3}[0-9]*' |
grep -Eo '([0-9]*\.){3}[0-9]*' | grep -v '127.0.0.1' | head -n1)
else
log_error "Скрипт работает только на Linux"
exit 1
fi
log_info "Определен IP адрес: $ip_address"
# База данных хостов в виде пар IP-команда
declare -A hosts=(
["10.10.35.21"]="cska"
["10.10.35.22"]="Lokomotiv Kuban"
["10.10.35.23"]="uralmash"
["10.10.35.24"]="betcity parma"
["10.10.35.25"]="avtodor"
["10.10.35.26"]="zenit"
["10.10.35.27"]="samara"
["10.10.35.28"]="mba-mai"
["10.10.35.29"]="Pari Nizhny Novgorod"
["10.10.35.30"]="unics"
)
# Определение команды по IP
detected_team="${hosts[$ip_address]}"
# Определение финальной команды (приоритет у аргумента, затем у автоопределения)
if [[ -n "$team_arg" ]]; then
final_team="$team_arg"
log_info "Используется команда из аргумента: $final_team"
elif [[ -n "$detected_team" ]]; then
final_team="$detected_team"
log_info "Используется автоопределенная команда: $final_team"
else
log_error "Не удалось определить команду. Укажите явно через -t"
echo "Доступные команды:" >&2
for ip in "${!hosts[@]}"; do
echo " $ip: ${hosts[$ip]}" >&2
done
exit 1
fi
# Возвращаем только чистую строку с названием команды (без цветовых кодов)
echo "$final_team"
}
# Функция настройки firewall
setup_firewall() {
log_info "Настройка firewall (открытие порта 8000)..."
# Проверяем наличие ufw
if command -v ufw &> /dev/null && systemctl is-active --quiet ufw; then
ufw allow 8000/tcp
log_info "Порт 8000 открыт в ufw"
if ufw allow 8000/tcp; then
log_info "Порт 8000 открыт в ufw"
else
log_warn "Не удалось открыть порт 8000 в ufw"
fi
fi
# Для firewalld (CentOS/RHEL)
if command -v firewall-cmd &> /dev/null && systemctl is-active --quiet firewalld; then
firewall-cmd --permanent --add-port=8000/tcp
firewall-cmd --reload
log_info "Порт 8000 открыт в firewalld"
if firewall-cmd --permanent --add-port=8000/tcp && firewall-cmd --reload; then
log_info "Порт 8000 открыт в firewalld"
else
log_warn "Не удалось открыть порт 8000 в firewalld"
fi
fi
}
@@ -306,9 +303,9 @@ check_port() {
local port=8000
local occupied=false
if command -v netstat &> /dev/null && netstat -tuln 2>/dev/null | grep ":$port " > /dev/null; then
if command -v netstat &> /dev/null && netstat -tuln 2>/dev/null | grep -q ":$port "; then
occupied=true
elif command -v ss &> /dev/null && ss -tuln 2>/dev/null | grep ":$port " > /dev/null; then
elif command -v ss &> /dev/null && ss -tuln 2>/dev/null | grep -q ":$port "; then
occupied=true
fi
@@ -325,30 +322,42 @@ manage_services() {
case $action in
"start")
log_info "Запуск сервиса rfb-data.service..."
systemctl start rfb-data.service
log_info "Запуск сервиса $SERVICE_NAME..."
if ! systemctl start "$SERVICE_NAME"; then
log_error "Ошибка при запуске сервиса"
return 1
fi
;;
"restart")
log_info "Перезапуск сервиса rfb-data.service..."
systemctl restart rfb-data.service
log_info "Перезапуск сервиса $SERVICE_NAME..."
if ! systemctl restart "$SERVICE_NAME"; then
log_error "Ошибка при перезапуске сервиса"
return 1
fi
;;
"stop")
log_info "Остановка сервиса rfb-data.service..."
systemctl stop rfb-data.service
log_info "Остановка сервиса $SERVICE_NAME..."
if ! systemctl stop "$SERVICE_NAME"; then
log_error "Ошибка при остановке сервиса"
return 1
fi
;;
esac
# Даем время сервису на запуск/остановку
sleep 3
return 0
}
# Функция проверки статуса сервиса
check_service_status() {
log_info "Статус сервиса rfb-data.service:"
if systemctl is-active rfb-data.service; then
systemctl status rfb-data.service --no-pager -l
log_info "Статус сервиса $SERVICE_NAME:"
if systemctl is-active "$SERVICE_NAME" &>/dev/null; then
systemctl status "$SERVICE_NAME" --no-pager -l
return 0
else
log_warn "Сервис rfb-data.service не запущен"
log_warn "Сервис $SERVICE_NAME не запущен"
return 1
fi
}
@@ -363,7 +372,12 @@ check_system() {
fi
# Проверка свободного места
local available_space=$(df /root --output=avail | tail -1)
local available_space
available_space=$(df "$TARGET_DIR" --output=avail 2>/dev/null | tail -1)
if [ -z "$available_space" ]; then
available_space=$(df / --output=avail | tail -1)
fi
if [ "$available_space" -lt 1048576 ]; then # Меньше 1GB
log_warn "Мало свободного места: $((available_space / 1024)) MB"
else
@@ -371,39 +385,46 @@ check_system() {
fi
# Проверка памяти
local total_mem=$(grep MemTotal /proc/meminfo | awk '{print $2}')
log_info "Оперативная память: $((total_mem / 1024)) MB"
if [ -f /proc/meminfo ]; then
local total_mem
total_mem=$(grep MemTotal /proc/meminfo | awk '{print $2}')
log_info "Оперативная память: $((total_mem / 1024)) MB"
fi
# Проверка архитектуры
log_info "Архитектура: $(uname -m)"
}
# Функция очистки при прерывании
cleanup() {
log_info "Очистка..."
if [ -f "/etc/systemd/system/$SERVICE_NAME" ]; then
manage_services "stop"
systemctl disable "$SERVICE_NAME" 2>/dev/null || true
rm -f "/etc/systemd/system/$SERVICE_NAME"
systemctl daemon-reload
fi
}
# Основная функция
main() {
local team=""
local release="main" # значение по умолчанию
local league="" # переменная для лиги
# Обработка аргументов командной строки
while getopts "t:r:l:h" opt; do
while getopts "r:h" opt; do
case $opt in
t) team="$OPTARG" ;;
r) release="$OPTARG" ;;
l) league="$OPTARG" ;;
h) show_help ;;
*) log_error "Неверный аргумент"; exit 1 ;;
esac
done
# Проверка обязательных аргументов
if [ -z "$team" ] && [ -z "$release" ]; then
log_error "Необходимо указать команду (-t) и релиз (-r)"
show_help
fi
log_info "Начало установки RFB Data Service..."
log_info "Команда: $team, Релиз: $release"
if [ -n "$league" ]; then
log_info "Лига: $league"
log_info "Начало установки KHL Data Service..."
if [ -n "$release" ]; then
log_info "Релиз: $release"
else
log_info "Лига: не указана (будет использовано значение по умолчанию)"
log_info "Релиз: не указан (будет использовано значение по умолчанию: main)"
release="main"
fi
# Проверка прав root
@@ -412,9 +433,15 @@ main() {
exit 1
fi
# Установка обработчика прерывания
trap 'log_error "Прервано пользователем"; cleanup; exit 1' INT TERM
# Проверка системы
check_system
# Проверка зависимостей
check_dependencies
# Установка пакетов
install_packages
@@ -427,16 +454,6 @@ main() {
# Настройка виртуального окружения
setup_venv
# Определение команды - ТЕПЕРЬ БЕЗ временного файла
final_team=$(detect_team "$team")
log_info "Финальная команда: '$final_team'"
# Проверка что команда не пустая и не содержит спецсимволов
if [[ -z "$final_team" || "$final_team" =~ [^a-zA-Z0-9[:space:]-] ]]; then
log_error "Некорректное название команды: '$final_team'"
exit 1
fi
# Настройка firewall
setup_firewall
@@ -444,46 +461,46 @@ main() {
check_port
# Создание systemd сервиса
create_systemd_service "$final_team" "$league"
create_systemd_service
log_info "Настройка завершена!"
# Запуск сервиса
manage_services "start"
if manage_services "start"; then
log_info "Сервис успешно запущен"
else
log_error "Не удалось запустить сервис"
exit 1
fi
# Проверка статуса
check_service_status
# Получаем IP для вывода
local ip_address
ip_address=$(ip route get 1 2>/dev/null | awk '{print $7; exit}' ||
ip a 2>/dev/null | grep -Eo 'inet (addr:)?([0-9]*\.){3}[0-9]*' |
grep -Eo '([0-9]*\.){3}[0-9]*' | grep -v '127.0.0.1' | head -n1)
log_info "=================================================="
log_info "Установка завершена успешно!"
log_info "Команда: $final_team"
if [ -n "$league" ]; then
log_info "Лига: $league"
fi
log_info "Режим: $release"
log_info "Релиз: $release"
log_info "Рабочая директория: $TARGET_DIR"
log_info ""
log_info "Для просмотра логов:"
log_info " journalctl -u rfb-data.service -f"
log_info " journalctl -u $SERVICE_NAME -f"
log_info ""
log_info "Управление сервисом:"
log_info " Перезапуск: systemctl restart rfb-data.service"
log_info " Остановка: systemctl stop rfb-data.service"
log_info " Статус: systemctl status rfb-data.service"
log_info " Логи: journalctl -u rfb-data.service"
log_info " Перезапуск: systemctl restart $SERVICE_NAME"
log_info " Остановка: systemctl stop $SERVICE_NAME"
log_info " Статус: systemctl status $SERVICE_NAME"
log_info " Логи: journalctl -u $SERVICE_NAME"
log_info ""
log_info "Проверка работы:"
log_info " Проверить процессы: ps aux | grep get_data.py"
log_info " Проверить логи: tail -f /root/RFB/logs/*.log 2>/dev/null || echo 'Директория логов не найдена'"
log_info " Проверить логи: tail -f $TARGET_DIR/logs/*.log 2>/dev/null || echo 'Директория логов не найдена'"
log_info "=================================================="
}
# Обработка прерывания
trap 'log_error "Прервано пользователем"; exit 1' INT TERM
# Запуск основной функции
main "$@"

10
get_data.py
View File

@@ -10,7 +10,7 @@ import uvicorn
from threading import Thread, Event, Lock
import time
from contextlib import asynccontextmanager
from smb_excel import read_excel_from_smb, fetch_smb_file
#from smb_excel import read_excel_from_smb, fetch_smb_file
import numpy as np
@@ -25,7 +25,13 @@ _stop_event = Event()
_worker_thread: Thread | None = None
# Загружаем переменные из .env
load_dotenv()
if load_dotenv(dotenv_path="/mnt/khl/.env",verbose=True):
print("Добавить в лог что был найден файл окружения!!")
pass
else:
load_dotenv()
print("Добавить в лог что не был найден файл окружения!!")
api_user = os.getenv("API_USER")
api_pass = os.getenv("API_PASS")
league = os.getenv("LEAGUE")

4
requirements.txt
View File

@@ -5,4 +5,6 @@ fastapi>=0.115.0
uvicorn>=0.30.0
requests>=2.31.0
python-telegram-handler
python-dotenv>=1.1.0
python-dotenv>=1.1.0
lxml
python-dotenv

2
smb_excel.py
View File

@@ -1,7 +1,7 @@
# smb_excel.py (обновлённый фрагмент)
from io import BytesIO
from typing import Optional, Union, Any, Dict
from smb.SMBConnection import SMBConnection
#from smb.SMBConnection import SMBConnection
import pandas as pd
import re