Merge branch 'Barabanov_TEST' into main

.streamlit/config.toml

@@ -0,0 +1,5 @@
+[browser]
+gatherUsageStats = false
+
+[server]
+enableStaticServing = true

README.md

@@ -0,0 +1,129 @@
+RFB Stat - это система для автоматического сбора баскетбольной статистики.
+Система состоит из двух основных компонентов:
+
+    Сервис данных (rfb-data.service) - сбор и обработка данных
+
+    Сервис визуализации (rfb-visual.service) - веб-интерфейс на основе Streamlit
+
+Требования
+
+    Ubuntu Linux
+
+    Доступ к репозиторию https://git.tvstart.ru/ychernenko/RFB.git
+
+    Права root для установки!!
+
+Установка
+Автоматическая установка
+
+Скрипт установки выполняет полную настройку системы:
+bash
+
+chmod +x deploy.sh
+./deploy.sh -t <команда> -r <релиз>
+
+Параметры командной строки
+
+    -t - Название команды (опционально, определяется по IP если не указано)
+
+    -r - Релиз (ветка или тег в git, по умолчанию: main)
+
+    -h - Справка по использованию
+
+Примеры использования
+bash
+
+# Установка с автоопределением команды по IP
+./deploy.sh -r main
+
+# Установка для конкретной команды
+./deploy.sh -t cska -r main
+
+# Установка тестовой версии
+./deploy.sh -t zenit -r Barabanov_TEST
+
+# Пакеты и прочее что будет установленно:
+    Системные пакеты:
+
+        Python3, pip, virtualenv
+
+        Git
+
+        Systemd
+
+        Net-tools
+
+    Виртуальное окружение Python с зависимостями:
+
+        streamlit
+
+        requests
+
+        pandas
+
+        numpy
+
+        plotly
+
+        watchdog
+
+        pillow
+
+        streamlit_autorefresh
+
+    Systemd сервисы:
+
+        rfb-data.service - сбор данных
+
+        rfb-visual.service - веб-интерфейс
+
+    Настройка firewall для порта 8501
+
+# Управление сервисами
+Просмотр статуса
+
+    systemctl status rfb-data.service rfb-visual.service
+
+# Просмотр логов
+
+Логи сбора данных
+    journalctl -u rfb-data.service -f
+
+Логи веб-интерфейса
+    'journalctl -u rfb-visual.service -f'
+
+#Управление сервисами
+ Перезапуск всех сервисов
+    systemctl restart rfb-data.service rfb-visual.service
+
+Остановка всех сервисов
+    systemctl stop rfb-data.service rfb-visual.service
+
+Запуск всех сервисов
+    systemctl start rfb-data.service rfb-visual.service
+
+# Доступ к приложению
+
+После установки приложение доступно по адресу:
+text
+
+http://ВАШ_IP_АДРЕС:8501
+
+#Структура проекта
+
+    /root/RFB/
+    ├── .venv/                 # Виртуальное окружение Python
+    ├── visual.py              # Веб-интерфейс Streamlit
+    ├── get_data.py            # Скрипт сбора данных
+    ├── requirements.txt       # Зависимости Python
+    └── start_rfb.sh          # Скрипт запуска (устарел)
+
+
+Проверьте настройки firewall:
+bash
+
+ufw status
+
+Контакты
+
+Для получения технической поддержки обращайтесь к разработчикам системы.

deploy.sh

@@ -0,0 +1,473 @@
+#!/bin/bash
+
+# Настройка цветов для вывода
+RED='\033[0;31m'
+GREEN='\033[0;32m'
+YELLOW='\033[1;33m'
+NC='\033[0m' # No Color
+
+show_help() {
+    echo "Использование: $0 -t <домашняя команда> -r <релиз>"
+    echo "  -t  Домашняя команда"
+    echo "  -r  Релиз (тег или ветка в git)"
+    echo "  -h  Показать эту справку"
+    echo ""
+    echo "Пример: $0 -t cska -r main"
+    echo "Пример: $0 -t zenit -r Barabanov_TEST"
+    echo ""
+    exit 0
+}
+
+# Функция для вывода цветных сообщений
+log_info() {
+    echo -e "${GREEN}[INFO]${NC} $1"
+}
+
+log_warn() {
+    echo -e "${YELLOW}[WARN]${NC} $1"
+}
+
+log_error() {
+    echo -e "${RED}[ERROR]${NC} $1"
+}
+
+# Функция проверки и установки пакетов
+install_packages() {
+    log_info "Обновление списка пакетов..."
+    apt-get update
+    
+    log_info "Установка необходимых пакетов..."
+    apt-get install -y python3 python3-pip python3-venv git systemd net-tools
+    
+    # Проверка установки
+    if ! command -v python3 &> /dev/null; then
+        log_error "Python3 не установлен!"
+        exit 1
+    fi
+    
+    if ! command -v pip3 &> /dev/null; then
+        log_error "pip3 не установлен!"
+        exit 1
+    fi
+    
+    log_info "Версия Python: $(python3 --version)"
+    log_info "Версия pip: $(pip3 --version)"
+}
+
+# Функция загрузки кода
+download_code() {
+    local repo_url="https://git.tvstart.ru/ychernenko/RFB.git"
+    local release="$1"
+    local target_dir="/root/RFB"
+    
+    log_info "Создание рабочей директории $target_dir..."
+    mkdir -p $target_dir
+    
+    if [ -d "$target_dir/.git" ]; then
+        log_info "Обновление существующего репозитория..."
+        cd $target_dir
+        git fetch --all
+        git checkout $release
+        git pull origin $release
+    else
+        log_info "Клонирование репозитория $repo_url..."
+        git clone $repo_url $target_dir
+        cd $target_dir
+        git checkout $release
+    fi
+    
+    # Проверка успешности checkout
+    if [ $? -ne 0 ]; then
+        log_error "Не удалось переключиться на релиз $release"
+        log_error "Доступные ветки:"
+        git branch -r
+        exit 1
+    fi
+    
+    log_info "Код успешно загружен (релиз: $release)"
+    log_info "Текущая ветка: $(git branch --show-current)"
+}
+
+# Функция обновления requirements.txt
+update_requirements() {
+    local target_dir="/root/RFB"
+    cd $target_dir
+    
+    log_info "Обновление requirements.txt..."
+    
+    # Создаем или обновляем requirements.txt
+    if [ ! -f "requirements.txt" ]; then
+        log_warn "requirements.txt не найден, создаем новый..."
+        cat > requirements.txt << EOF
+streamlit>=1.28.0
+requests>=2.31.0
+pandas>=2.0.0
+numpy>=1.24.0
+plotly>=5.15.0
+watchdog>=3.0.0
+pillow>=10.0.0
+streamlit_autorefresh>=0.1.7
+EOF
+    else
+        # Проверяем, есть ли streamlit_autorefresh в requirements.txt
+        if ! grep -q "streamlit_autorefresh" requirements.txt; then
+            log_info "Добавляем streamlit_autorefresh в requirements.txt..."
+            echo "streamlit_autorefresh>=0.1.7" >> requirements.txt
+        else
+            log_info "streamlit_autorefresh уже есть в requirements.txt"
+        fi
+    fi
+    
+    log_info "Содержимое requirements.txt:"
+    cat requirements.txt
+}
+
+# Функция настройки виртуального окружения
+setup_venv() {
+    local target_dir="/root/RFB"
+    cd $target_dir
+    
+    log_info "Создание виртуального окружения..."
+    python3 -m venv .venv
+    
+    if [ ! -f ".venv/bin/activate" ]; then
+        log_error "Не удалось создать виртуальное окружение"
+        exit 1
+    fi
+    
+    log_info "Активация виртуального окружения и установка зависимостей..."
+    source .venv/bin/activate
+    
+    # Обновление pip
+    pip install --upgrade pip
+    
+    # Обновляем requirements.txt перед установкой
+    update_requirements
+    
+    if [ -f "requirements.txt" ]; then
+        log_info "Установка зависимостей из requirements.txt..."
+        pip install -r requirements.txt
+    else
+        log_warn "Файл requirements.txt не найден, устанавливаем базовые зависимости..."
+        pip install streamlit requests pandas numpy plotly watchdog pillow streamlit_autorefresh
+    fi
+    
+    # Дополнительная проверка и установка streamlit_autorefresh на всякий случай
+    if ! python -c "import streamlit_autorefresh" 2>/dev/null; then
+        log_info "Устанавливаем streamlit_autorefresh..."
+        pip install streamlit_autorefresh
+    fi
+    
+    # Проверка установки streamlit
+    if ! [ -f ".venv/bin/streamlit" ]; then
+        log_error "Streamlit не установлен в виртуальном окружении"
+        exit 1
+    fi
+    
+    log_info "Проверка установленных пакетов:"
+    python -c "
+import streamlit, requests, pandas, numpy, plotly, streamlit_autorefresh
+print('✓ Все основные пакеты успешно импортируются')
+"
+    
+    log_info "Установленные пакеты:"
+    pip list --format=columns | grep -E "(streamlit|requests|pandas|numpy|plotly|autorefresh)"
+}
+
+# Функция создания systemd сервисов
+create_systemd_services() {
+    local team="$1"
+    
+    log_info "Создание отдельных systemd сервисов для команды: $team"
+    
+    # Останавливаем и отключаем старые сервисы если они есть
+    for service in rfb-data.service rfb-visual.service rfb-stat.service; do
+        if systemctl is-active --quiet $service; then
+            log_info "Остановка $service..."
+            systemctl stop $service
+        fi
+        if systemctl is-enabled --quiet $service; then
+            log_info "Отключение $service..."
+            systemctl disable $service
+        fi
+    done
+    
+    # Сервис для data
+    local data_service_file="/etc/systemd/system/rfb-data.service"
+    
+    cat > $data_service_file << EOF
+[Unit]
+Description=RFB Data Service
+After=network.target
+
+[Service]
+Type=simple
+User=root
+WorkingDirectory=/root/RFB
+Environment=PATH=/root/RFB/.venv/bin
+ExecStart=/root/RFB/.venv/bin/python3 /root/RFB/get_data.py --team $team
+Restart=always
+RestartSec=10
+StandardOutput=journal
+StandardError=journal
+
+[Install]
+WantedBy=multi-user.target
+EOF
+
+    # Сервис для visual
+    local visual_service_file="/etc/systemd/system/rfb-visual.service"
+    
+    cat > $visual_service_file << EOF
+[Unit]
+Description=RFB Visual Service
+After=network.target rfb-data.service
+
+[Service]
+Type=simple
+User=root
+WorkingDirectory=/root/RFB
+Environment=PATH=/root/RFB/.venv/bin
+ExecStart=/root/RFB/.venv/bin/streamlit run /root/RFB/visual.py --server.port 8501 --server.address 0.0.0.0
+Restart=always
+RestartSec=10
+StandardOutput=journal
+StandardError=journal
+
+[Install]
+WantedBy=multi-user.target
+EOF
+
+    # Настройка прав
+    chmod 644 $data_service_file $visual_service_file
+    
+    log_info "Перезагрузка systemd демонов..."
+    systemctl daemon-reload
+    
+    log_info "Включение сервисов..."
+    systemctl enable rfb-data.service rfb-visual.service
+}
+
+# Функция проверки файлов
+check_required_files() {
+    local target_dir="/root/RFB"
+    cd $target_dir
+    
+    local missing_files=()
+    
+    if [ ! -f "visual.py" ]; then
+        missing_files+=("visual.py")
+    fi
+    
+    if [ ! -f "get_data.py" ]; then
+        missing_files+=("get_data.py")
+    fi
+    
+    if [ ${#missing_files[@]} -ne 0 ]; then
+        log_error "Отсутствуют необходимые файлы: ${missing_files[*]}"
+        log_error "Содержимое директории $target_dir:"
+        ls -la
+        exit 1
+    fi
+    
+    log_info "Все необходимые файлы присутствуют"
+}
+
+# Функция определения IP и команды
+detect_team() {
+    local team_arg="$1"
+    
+    # Определение IP адреса
+    if [[ "$(uname -s)" == "Linux" ]]; then
+        ip_address=$(ip a 2>/dev/null | grep -Eo 'inet (addr:)?([0-9]*\.){3}[0-9]*' | grep -Eo '([0-9]*\.){3}[0-9]*' | grep -v '127.0.0.1' | head -n1)
+    else
+        log_error "Скрипт работает только на Linux"
+        exit 1
+    fi
+
+    log_info "Определен IP адрес: $ip_address"
+
+    # База данных хостов в виде пар IP-команда
+    declare -A hosts=(
+        ["10.10.35.21"]="cska"
+        ["10.10.35.22"]="Lokomotiv Kuban" 
+        ["10.10.35.23"]="uralmash"
+        ["10.10.35.24"]="betcity parma"
+        ["10.10.35.25"]="avtodor"
+        ["10.10.35.26"]="zenit"
+        ["10.10.35.27"]="samara"
+        ["10.10.35.28"]="mba-mai"
+        ["10.10.35.29"]="Pari Nizhny Novgorod"
+        ["10.10.35.30"]="unics"
+    )
+
+    # Определение команды по IP
+    detected_team="${hosts[$ip_address]}"
+    
+    # Определение финальной команды (приоритет у аргумента, затем у автоопределения)
+    if [[ -n "$team_arg" ]]; then
+        final_team="$team_arg"
+        log_info "Используется команда из аргумента: $final_team"
+    elif [[ -n "$detected_team" ]]; then
+        final_team="$detected_team"
+        log_info "Используется автоопределенная команда: $final_team"
+    else
+        log_error "Не удалось определить команду. Укажите явно через -t"
+        echo "Доступные команды:"
+        for ip in "${!hosts[@]}"; do
+            echo "  $ip: ${hosts[$ip]}"
+        done
+        exit 1
+    fi
+    
+    # Возвращаем только чистую строку с названием команды
+    echo "$final_team"
+}
+
+# Функция настройки firewall
+setup_firewall() {
+    log_info "Настройка firewall (открытие порта 8501)..."
+    
+    # Проверяем наличие ufw
+    if command -v ufw &> /dev/null; then
+        ufw allow 8501/tcp
+        log_info "Порт 8501 открыт в ufw"
+    fi
+    
+    # Для firewalld (CentOS/RHEL)
+    if command -v firewall-cmd &> /dev/null; then
+        firewall-cmd --permanent --add-port=8501/tcp
+        firewall-cmd --reload
+        log_info "Порт 8501 открыт в firewalld"
+    fi
+}
+
+# Функция проверки порта
+check_port() {
+    local port=8501
+    if command -v netstat &> /dev/null && netstat -tuln | grep ":$port " > /dev/null; then
+        log_warn "Порт $port уже занят. Возможно, приложение уже запущено."
+        return 1
+    fi
+    if command -v ss &> /dev/null && ss -tuln | grep ":$port " > /dev/null; then
+        log_warn "Порт $port уже занят. Возможно, приложение уже запущено."
+        return 1
+    fi
+    return 0
+}
+
+# Функция управления сервисами
+manage_services() {
+    local action="$1"
+    
+    case $action in
+        "start")
+            log_info "Запуск сервисов..."
+            systemctl start rfb-data.service rfb-visual.service
+            ;;
+        "restart")
+            log_info "Перезапуск сервисов..."
+            systemctl restart rfb-data.service rfb-visual.service
+            ;;
+        "stop")
+            log_info "Остановка сервисов..."
+            systemctl stop rfb-data.service rfb-visual.service
+            ;;
+    esac
+    
+    # Даем время сервисам на запуск/остановку
+    sleep 3
+}
+
+# Функция проверки статуса сервисов
+check_services_status() {
+    log_info "Статус сервисов:"
+    echo "=== RFB Data Service ==="
+    systemctl status rfb-data.service --no-pager
+    echo ""
+    echo "=== RFB Visual Service ==="
+    systemctl status rfb-visual.service --no-pager
+}
+
+# Основная функция
+main() {
+    local team=""
+    local release="main"  # значение по умолчанию
+    
+    # Обработка аргументов командной строки
+    while getopts "t:r:h" opt; do
+        case $opt in
+            t) team="$OPTARG" ;;
+            r) release="$OPTARG" ;;
+            h) show_help ;;
+            *) log_error "Неверный аргумент"; exit 1 ;;
+        esac
+    done
+    
+    log_info "Начало установки RFB Stat..."
+    log_info "Команда: $team, Релиз: $release"
+    
+    # Проверка прав root
+    if [[ $EUID -ne 0 ]]; then
+        log_error "Этот скрипт должен запускаться с правами root"
+        exit 1
+    fi
+    
+    # Установка пакетов
+    install_packages
+    
+    # Загрузка кода
+    download_code "$release"
+    
+    # Настройка виртуального окружения
+    setup_venv
+    
+    # Определение команды - ВАЖНО: используем временный файл для чистого вывода
+    local temp_team_file=$(mktemp)
+    final_team=$(detect_team "$team" | tail -1)
+    rm -f "$temp_team_file"
+    
+    log_info "Финальная команда: $final_team"
+    
+    # Проверка файлов
+    check_required_files
+    
+    # Настройка firewall
+    setup_firewall
+    
+    # Проверка порта
+    check_port
+    
+    # Создание systemd сервисов
+    create_systemd_services "$final_team"
+    
+    log_info "Настройка завершена!"
+    
+    # Запуск сервисов
+    manage_services "start"
+    
+    # Проверка статуса
+    check_services_status
+    
+    # Получаем IP еще раз для вывода
+    ip_address=$(ip a 2>/dev/null | grep -Eo 'inet (addr:)?([0-9]*\.){3}[0-9]*' | grep -Eo '([0-9]*\.){3}[0-9]*' | grep -v '127.0.0.1' | head -n1)
+    
+    log_info "=================================================="
+    log_info "Установка завершена успешно!"
+    log_info "Приложение должно быть доступно по адресу: http://${ip_address}:8501"
+    log_info "Команда: $final_team"
+    log_info "Режим: $release"
+    log_info ""
+    log_info "Для просмотра логов:"
+    log_info "  Данные: journalctl -u rfb-data.service -f"
+    log_info "  Визуал: journalctl -u rfb-visual.service -f"
+    log_info ""
+    log_info "Управление сервисами:"
+    log_info "  Перезапуск всех: systemctl restart rfb-data.service rfb-visual.service"
+    log_info "  Остановка всех: systemctl stop rfb-data.service rfb-visual.service"
+    log_info "  Статус: systemctl status rfb-data.service rfb-visual.service"
+    log_info "=================================================="
+}
+
+# Запуск основной функции
+main "$@"

requirements.txt

@@ -0,0 +1,7 @@
+requests>=2.28.0
+numpy>=1.21.0
+pandas>=1.5.0
+urllib3>=1.26.0
+python-telegram-handler>=0.1.0
+streamlit
+streamlit_autorefresh

visual.py

@@ -327,7 +327,8 @@ def load_data_from_json(filepath):
     directory = FOLDER_JSON
     os.makedirs(directory, exist_ok=True)
     filepath_full = os.path.join(directory, f"{filepath}.json")
-
+    print(filepath_full)
+    print(filepath)
     # вычисление ключа
     # ip = get_ip_address()
     # host = ip_check.get(ip, {}).get("host") or ""