Автоматизация сетевой разведки и поиск fortinet. Уровень: ульта

#!/bin/bash

export LC_ALL=C.UTF-8
export LANG=C.UTF-8

OUTPUT_DIR="./result"
INPUT_DIR="./zhratva"
TIMEOUT_SEC=216000000

mkdir -p "$OUTPUT_DIR"

if ! touch "$OUTPUT_DIR/.test" 2>/dev/null; then
    echo "❌ НЕТ ПРАВ НА ЗАПИСЬ В $OUTPUT_DIR"
    echo "Выполните:"
    echo "  sudo chmod 755 $OUTPUT_DIR"
    echo "  sudo chown \$USER:\$USER $OUTPUT_DIR"
    exit 1
else
    rm -f "$OUTPUT_DIR/.test"
    echo "✅ Права на $OUTPUT_DIR — ОК"
fi

if ! command -v masscan &> /dev/null; then
    echo "❌ masscan не установлен"
    exit 1
fi

MASSCAN_CONFIG_TEMPLATE='
ports = 7443,443,8443,10443,444,541,4433,1723,1443,7443,6434,5443,9943,8083
rate = 10000000
exclude = 255.255.255.255
output-format = list
'

for file in "$INPUT_DIR"/*.txt; do
    [ ! -f "$file" ] && continue

    filename=$(basename "$file" .txt)
    echo "========================================"
    echo "🔍 ОБРАБОТКА: $filename"
    echo "📂 Входной файл: $file"

    cleaned_file=$(mktemp)
    grep -E '^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/[0-9]{1,2}$' "$file" > "$cleaned_file"

    if [ ! -s "$cleaned_file" ]; then
        echo "⚠️  Нет валидных подсетей — пропускаем"
        rm -f "$cleaned_file"
        continue
    fi

    result_file="$OUTPUT_DIR/scan_result_${filename}.txt"
    echo "💾 Результат будет сохранён: $result_file"

    temp_config=$(mktemp)
    {
        echo "$MASSCAN_CONFIG_TEMPLATE"
        echo "includefile = $cleaned_file"
    } > "$temp_config"

    echo "⚙️  Конфиг: $temp_config"

    if ! touch "$result_file" 2>/dev/null; then
        echo "❌ НЕ МОГУ СОЗДАТЬ $result_file — проверьте права"
        rm -f "$cleaned_file" "$temp_config"
        continue
    else
        rm -f "$result_file"
    fi

    echo "🚀 ЗАПУСКАЕМ:"
    echo "   masscan -c \"$temp_config\" -oL \"$result_file\""

    timeout "$TIMEOUT_SEC" masscan -c "$temp_config" -oL "$result_file"

    if [ -f "$result_file" ]; then
        size=$(wc -c < "$result_file")
        echo "✅ Файл $result_file создан, размер: $size байт"
        if [ $size -gt 0 ]; then
            echo "📄 Первые 5 строк:"
            head -5 "$result_file"
        else
            echo "⚠️  Файл пуст — возможно, ничего не найдено"
        fi
    else
        echo "❌ Файл $result_file НЕ создан — проверьте masscan и права"
    fi

    rm -f "$cleaned_file" "$temp_config"
    echo "🧹 Временные файлы удалены"
    echo "========================================"
done

echo "🏁 СКРИПТ ЗАВЕРШЁН"
ls -l "$OUTPUT_DIR"/scan_result_*.txt 2>/dev/null || echo "❌ Нет файлов scan_result_*.txt"

#!/usr/bin/env python3

import os
import re
from pathlib import Path

# --- Настройки ---
RESULT_DIR = "./input — копия"
OUTPUT_BASE_DIR = "./countries"
MAX_FILE_SIZE = 10 * 1024 * 1024  # 10 МБ

# --- Регулярное выражение для поиска строк формата: open tcp <порт> <IP> <timestamp> ---
pattern = re.compile(r'open\s+tcp\s+(\d+)\s+([0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})')

def is_valid_ip(ip):
    """Проверяет, что IP состоит из 4 октетов от 0 до 255"""
    try:
        parts = list(map(int, ip.split('.')))
        return len(parts) == 4 and all(0 <= p <= 255 for p in parts)
    except ValueError:
        return False

def main():
    result_path = Path(RESULT_DIR)
    output_base_path = Path(OUTPUT_BASE_DIR)

    # Проверяем, существует ли папка с результатами
    if not result_path.exists() or not result_path.is_dir():
        print(f"❌ Папка {RESULT_DIR} не существует или это не директория.")
        return

    # Создаём базовую папку вывода
    output_base_path.mkdir(exist_ok=True)

    # Находим все файлы scan_result_*-ipv4-Hackers.Zone.txt
    files = list(result_path.glob("*.txt"))
    if not files:
        print(f"❌ Не найдено ни одного файла scan_result_*-ipv4-Hackers.Zone.txt в {RESULT_DIR}")
        return

    print(f"🔍 Найдено {len(files)} файлов для обработки")

    # --- Статистика ---
    total_urls_written = 0
    countries_processed = set()
    ports_found = set()
    files_created = 0

    # Подробная статистика
    country_stats = {}  # { 'AD': { 'urls': 1000, 'unique_ips': set(), 'ports': { '443': 300, '8443': 700 } }, ... }
    port_stats = {}     # { '443': 3000, '8443': 1500, ... }
    all_unique_ips = set()  # Все уникальные IP за сессию
    # --- /Статистика ---

    for file in files:
        print(f"\n📂 Обрабатываем: {file.name}")

        # Извлекаем код страны из имени файла
        # Пример: scan_result_AD-ipv4-Hackers.Zone.txt -> AD
        name_part = file.name.replace("scan_result_", "").split("-")[0]
        country_code = name_part.upper()

        # Папка для вывода: по коду страны
        country_dir = output_base_path / country_code
        country_dir.mkdir(exist_ok=True)

        print(f"   🌍 Код страны: {country_code}")
        countries_processed.add(country_code)

        # Инициализируем статистику для страны
        if country_code not in country_stats:
            country_stats[country_code] = {'urls': 0, 'unique_ips': set(), 'ports': {}}

        try:
            with open(file, 'r', encoding='utf-8', errors='ignore') as f:
                content = f.read()

            matches = pattern.findall(content)

            # Словарь: порт -> список URL
            port_to_urls = {}
            for port_str, ip in matches:
                if not is_valid_ip(ip):
                    print(f"   🗑️  Пропущен невалидный IP: {ip}")
                    continue

                port = port_str.strip()
                url = f"https://{ip}:{port}"
                ports_found.add(port)

                if port not in port_to_urls:
                    port_to_urls[port] = []
                port_to_urls[port].append((url, ip))  # Сохраняем и URL, и IP

            # Для каждого порта создаём файлы с нумерацией и ограничением по размеру
            for port, url_ip_pairs in port_to_urls.items():
                current_file_index = 0
                current_file_path = country_dir / f"{port}-{current_file_index}.txt"
                current_file = open(current_file_path, 'w', encoding='utf-8')
                current_size = 0

                for url, ip in url_ip_pairs:
                    line = url + "\n"
                    line_size = len(line.encode('utf-8'))

                    if current_size + line_size > MAX_FILE_SIZE:
                        current_file.close()
                        files_created += 1
                        current_file_index += 1
                        current_file_path = country_dir / f"{port}-{current_file_index}.txt"
                        current_file = open(current_file_path, 'w', encoding='utf-8')
                        current_size = 0

                    current_file.write(line)
                    current_size += line_size

                    # Обновляем статистику
                    total_urls_written += 1
                    country_stats[country_code]['urls'] += 1
                    all_unique_ips.add(ip)
                    country_stats[country_code]['unique_ips'].add(ip)

                    if port not in country_stats[country_code]['ports']:
                        country_stats[country_code]['ports'][port] = 0
                    country_stats[country_code]['ports'][port] += 1

                    if port not in port_stats:
                        port_stats[port] = 0
                    port_stats[port] += 1

                current_file.close()
                files_created += 1
                print(f"   💾 Записано {len(url_ip_pairs)} URL в файлы {port}-*.txt")

        except Exception as e:
            print(f"❌ Ошибка при чтении файла {file}: {e}")

    # --- Вывод статистики ---
    print("\n" + "="*60)
    print("📊 СТАТИСТИКА ПО ОБРАБОТКЕ:")
    print(f"   📁 Всего файлов обработано: {len(files)}")
    print(f"   🌍 Всего стран: {len(countries_processed)}")
    print(f"   🌐 Уникальных портов: {len(ports_found)}")
    print(f"   📄 Всего файлов создано: {files_created}")
    print(f"   🌐 Всего URL записано: {total_urls_written}")
    print(f"   🌐 Всего уникальных IP адресов: {len(all_unique_ips)}")
    print("-" * 60)
    print("📈 СТАТИСТИКА ПО СТРАНАМ:")
    for code, data in sorted(country_stats.items()):
        unique_ips_count = len(data['unique_ips'])
        print(f"   🌍 {code}: {data['urls']} URL, {unique_ips_count} уникальных IP")
        for port, count in sorted(data['ports'].items()):
            print(f"      └─ Порт {port}: {count} URL")

    print("-" * 60)
    print("📈 СТАТИСТИКА ПО ПОРТАМ:")
    for port, count in sorted(port_stats.items()):
        print(f"   🌐 Порт {port}: {count} URL")
    print("="*60)
    # --- /Статистика ---

    print(f"\n✅ Обработка завершена. Файлы сохранены в папке: {OUTPUT_BASE_DIR}")

if __name__ == "__main__":
    main()