Привет, Smart-Lab. Я Данил, исследую рынок и торгую то, что наресёрчил. Это первый пост — сразу с материала, без прелюдий.
Задача. Есть kNN-бейзлайн для аллокации по 29 инструментам. Гипотеза: проблема в фичах. Решил прогнать полновесный greedy forward feature selection на 150 фичах. Логика: модель выбирает первую фичу с наибольшим Score, потом с одной фичей идёт по всему списку и выбирает вторую лучшую, и так далее — без предварительного стопа.
Что пошло не так на старте. Грид упал в баг: NaN-скоры для всех инструментов, включая BRENT, где всего 30% NaN. Причина оказалась в обработке состояния: state(t) с −1 либо пропускался, либо давал n_common = 0 при сравнении с аналогами. Починил, но осадок остался.
Результат greedy. 4085 секунд работы. Выбрана одна фича:
На второй итерации лучшая фича дала improvement −0.0616. Стоп по условию improvement < 0.001. 149 фич прогнаны впустую.
Диагностика. Прогнал распределение корреляций P&L субмоделей. 10878 пар:
Гистограмма: 9924 пары из 10878 лежат в бакете [0.7, 0.9]. Это 91%.
Кластеризация. Union-find по порогам корреляций:
При пороге 0.5 и 0.7 — фактически один кластер на 145 фич. Это не кластеры, это одна фича в 145 обёртках.
Финальный тест. Лучший результат среди всех конфигураций:
Baseline не был «сильнее». Он был другим типом: 6 per-instrument + 1 cross-sectional.
Вывод. Все 150 per-instrument фич несут одну и ту же информацию — состояние инструмента в его собственной истории. Ортогональности нет. Feature mining на этом юниверсе закрыт.
Найденный ключ. Cross-sectional фичи ортогональны per-instrument. Проверил на baseline из 8 per-instrument фич (Score 1.85):
Итог: 2.37 > 2.15 (baseline exp_016). Из 14 Q2 и 2 KURT фич зашли только две.
Гипотеза, почему именно эти две.
Q2.01 — rank инструмента по return 20d. Где мы в рейтинге.
Q2.12 — расстояние от CS median. Насколько далеко от центра.
Обе описывают положение в cross-section. Другие Q2 описывают другие свойства — correlation, beta, breadth. Не положение. Поэтому не зашли.
Вопрос к сообществу. Кто-нибудь находил ортогональные фичи через cross-sectional положение, а не через свойства? Интересно, какие ещё оси ортогональности существуют
Еще по теме:
Подпишитесь на нашу рассылку, чтобы получать уведомления о новых обновлениях, информации, скидках и т. д.
