init: Parser v1 — Lead Generation Engine

Парсер лидов МБ РФ: Яндекс.Карты + HH.ru + обогащение DaData/ЕГРЮЛ/Rusprofile + Streamlit CRM. Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-06-09 12:56:06 +03:00
commit f78f35fb3f
33 changed files with 9198 additions and 0 deletions
@@ -0,0 +1,41 @@
+# Зависимости парсера лидов — Phase 0 (Research)
+# Установка: pip install -r requirements.txt
+# После установки: playwright install chromium
+
+# Anti-detect scraper (основной движок)
+botasaurus>=4.0.0
+
+# Browser automation (нужен Botasaurus'у под капотом)
+playwright>=1.40.0
+
+# HTTP клиенты
+requests>=2.31.0
+aiohttp>=3.9.0
+urllib3>=2.0.0    # подавление InsecureRequestWarning при verify=False
+
+# Цветные логи в консоли (зелёный INFO, жёлтый WARNING, красный ERROR)
+colorlog>=6.8.0
+
+# Утилиты
+fake-useragent>=1.4.0
+python-dotenv>=1.0.0
+
+# Интерактивный TUI-лаунчер (launcher.py)
+questionary>=2.0.0
+
+# Нормализация телефонов / DNS
+phonenumbers>=8.13.0
+dnspython>=2.6.0
+
+# Данные
+pandas>=2.0.0
+
+# CRM-приложение (Streamlit) — UI для работы с лидами (launch_crm.bat)
+streamlit>=1.35.0
+
+# Phase 1+ добавим:
+# vk-api>=11.9.9
+# scrapling>=0.4.7
+# gspread>=6.0.0
+# supabase>=2.4.0
+# openai>=1.30.0