Afina

Скачать приложение

AppleWindows
RU

Как отслеживать криптокитов в блокчейне: архитектура системы мониторинга

архитектура системы мониторинга крупных блокчейн-кошельков

Мониторинг криптокитов означает непрерывный сбор и оценку крупных ончейн-переводов для выявления необычной активности кошельков. Его используют, чтобы анализировать ликвидность, движение средств между сетями и поведение крупных держателей. В реальной системе нужно учитывать задержку узлов, реорганизации цепочки и ложные сигналы от биржевых адресов или MEV-ботов в децентрализованных P2P-сетях.

Архитектура системы включает источники данных, нормализатор событий, реестр адресов, очередь сообщений, аналитическое хранилище и сервис уведомлений. Одного списка крупных кошельков недостаточно. Система должна понимать, принадлежат ли несколько адресов одной сущности, был ли перевод внутренним, прошли ли средства через мост и изменился ли экономический риск позиции. Похожая кластеризация нужна и для изоляции кошельков при NFT-минтинге, хотя цель там другая.

Главный принцип прост: крупная сумма еще не является торговым сигналом. Перевод на биржу может предшествовать продаже, быть перемещением между собственными счетами или пополнением маркетмейкера. Поэтому сигнал формируется только после обогащения контекстом: меткой адреса, историей баланса, направлением потока, активностью смарт-контракта и состоянием рынка. Командам, которые работают с несколькими биржевыми учетными записями, также важна операционная гигиена из руководства по работе с несколькими аккаунтами Bybit.

Что именно отслеживает система мониторинга криптокитов

Система отслеживает не «китов» как людей, а адреса, кластеры адресов и события, которые меняют их экономическое состояние. Публичный блокчейн показывает транзакцию, сумму, время, комиссию и вызванный контракт. Личность владельца он обычно не раскрывает.

Порог кита нужно задавать для конкретного актива. Фиксированное правило вроде «любой адрес с миллионом долларов» искажает картину: для ликвидного актива это может быть обычный перевод, а для небольшого токена даже 1% предложения создает заметный риск. Реестр должен учитывать несколько признаков одновременно:

  • долю адреса в циркулирующем предложении
  • долларовую стоимость портфеля по проверенному ценовому фиду
  • долю токенов в пуле ликвидности
  • средний объем перевода за 30 или 90 дней
  • связь с биржей, фондом, мостом или известным протоколом
  • возраст адреса и продолжительность периода без активности

Порог должен быть версионируемым. Если капитализация токена резко выросла, вчерашний порог начнет создавать тысячи лишних алертов. Храните threshold_version с каждым событием, чтобы позднее восстановить причину срабатывания.

Полезно разделить три понятия. Адрес представляет собой технический идентификатор в сети. Кластер объединяет адреса, которые по набору эвристик могут принадлежать одной сущности. Сигнал является оцененным событием, которое прошло фильтры и содержит достаточно контекста для аналитика или автоматизированного правила.

ОбъектЧто хранитсяТипичная ошибка
адрессеть, баланс, первая и последняя активность, меткисчитать адрес конкретным человеком
кластерсписок адресов, связи, доказательства и уверенностьобъединять кошельки по одному общему контакту
событиехеш, блок, актив, сумма, направление, статусдважды записывать транзакцию после повторной доставки
сигналоценка, причины, порог, рыночный контекстсчитать крупный перевод готовым прогнозом цены

Такое разделение не дает сырым данным превратиться в поток громких, но бессмысленных уведомлений.

Как собрать начальную базу крупных кошельков

Начальную базу формируют из крупнейших держателей актива, поставщиков ликвидности, ранних получателей токенов и проверенных публичных меток. Затем реестр дополняется во время работы системы. Важно хранить происхождение каждой метки и уровень доверия к ней.

Базовый процесс выглядит так:

  1. определите сети, активы и цель наблюдения
  2. зафиксируйте пороги по сумме, доле предложения и отклонению от обычного объема
  3. экспортируйте крупнейших держателей из узла, индексера или блокчейн-эксплорера
  4. добавьте крупные позиции в DEX-пулах, стейкинге и кредитных протоколах
  5. пометьте биржевые, мостовые, казначейские адреса и адреса сжигания
  6. запишите источник, дату и уровень уверенности для каждой метки
  7. запустите пересчет балансов и проверьте сущности на дубли

На этом этапе лучше собрать 500 проверенных адресов, чем 50 000 непроверенных. Биржевой hot wallet может обслуживать тысячи клиентов и создавать крупные технические переводы каждый час. Без метки он быстро заполнит канал алертов шумом.

формирование реестра адресов для отслеживания криптокитов

После первого импорта вручную проверьте выборку адресов. Возьмите 30 адресов с разными метками, откройте их историю и убедитесь, что правила не записали контракт токена как владельца или биржевой кошелек как отдельного трейдера. Несколько часов такой проверки могут сэкономить несколько дней настройки уведомлений.

Как кластеризовать адреса одного владельца

Кластеризация опирается на несколько независимых признаков. Одно совпадение не доказывает общего владельца. Например, десятки пользователей могут отправлять средства на один биржевой адрес, а одинаковое время транзакций иногда объясняется работой популярного бота.

Более надежный результат дает сочетание нескольких признаков: синхронные покупки одних активов, повторяющийся маршрут через одинаковые контракты, общий источник пополнения, характерные суммы и связанные адреса в другой сети. Для каждого ребра графа храните тип доказательства и вес. Тогда кластер можно пересмотреть, если эвристика ошиблась.

Практическая модель cluster_edge содержит address_a, address_b, evidence_type, first_seen, last_seen, weight и evidence_payload. Объединяйте адреса в кластер, только когда суммарный вес доказательств достиг установленного порога. Одновременно проверяйте независимость признаков: несколько связанных эвристик нельзя считать отдельными подтверждениями. Такой подход близок к методам, которые использует кластерный анализ для выявления сибилов, но здесь нельзя автоматически делать вывод о личности владельца.

Как не потерять перевод через кроссчейн-мост

Кроссчейн-отслеживание сопоставляет депозит в исходной сети с выпуском или разблокировкой актива в целевой. Сравнивайте токен, нормализованную сумму, временной интервал, адрес моста и идентификатор сообщения, если протокол его публикует.

Сумма после моста может отличаться из-за комиссии, а доставка под нагрузкой занимает больше времени. Поэтому точное совпадение по сумме и минуте ненадежно. Храните возможные соответствия в пределах временного окна и ранжируйте их. Совпадение операций через мост указывает на возможный маршрут средств, но не устанавливает личность владельца адреса. Добавляйте адрес в кластер только при наличии дополнительных независимых доказательств и достаточной уверенности.

сопоставление перевода криптокита через кроссчейн-мост

Этот граф особенно полезен для анализа airdrop-экосистем, где активность распределяется между сетями.

Как работать с мемпулом и не превратить мониторинг во фронтраннинг

Мемпул позволяет заранее увидеть транзакции, которые узел уже получил, но блок еще не подтвердил. Этого достаточно, чтобы подготовить предварительный алерт. Использовать замеченную транзакцию для опережающей сделки рискованно, этически сомнительно и в некоторых сценариях может нарушать правила площадки.

Сканер подключается к собственному или доверенному узлу через WebSocket, слушает поток pending-транзакций, получает полные данные по хешу и декодирует input по ABI контракта. Публичные RPC-сервисы часто имеют ограничения, неполное покрытие мемпула и непредсказуемую задержку. Для серьезного мониторинга нужны как минимум два независимых узла или провайдера.

Увиденная одним узлом транзакция может никогда не попасть в канонический блок. Ее могут заменить транзакцией с тем же nonce, отменить или вытеснить. Поэтому статус включения в цепочку и результат выполнения нужно моделировать отдельно. Для жизненного цикла транзакции используйте такие состояния:

  • pending означает, что событие замечено в мемпуле
  • replacement_detected означает, что в мемпуле обнаружена альтернативная транзакция от того же отправителя с тем же nonce; это предварительное состояние, а не доказательство замены в канонической цепочке
  • replaced означает, что в каноническую цепочку включена альтернативная транзакция с тем же отправителем и nonce, а исходная в нее не входит; перед установкой статуса нужно проверить обе транзакции, в том числе после реорганизации
  • included означает, что транзакция включена в блок
  • confirmed означает, что транзакция набрала заданное число подтверждений
  • orphaned означает, что блок с транзакцией выбыл из канонической цепочки после реорганизации

Отдельное поле execution_status отражает результат выполнения включенной транзакции: успешное выполнение или reverted при ошибке. Например, транзакция может войти в блок, но завершиться со статусом reverted; после реорганизации ее прежний блок может получить статус orphaned.

Уведомление тоже должно менять статус. Если в мемпуле обнаружена альтернативная транзакция с тем же nonce, исходный сигнал получает состояние replacement_detected и требует проверки. Статус replaced устанавливают только после подтверждения, что альтернативная транзакция включена в каноническую цепочку, а исходная не включена.

После реорганизации эти условия проверяют снова, чтобы не спутать замену с перемещением транзакции между ветками. Если канал сообщил «кит переводит 20 млн долларов», а транзакцию заменили, система должна отправить исправление. Иначе аналитик будет работать с событием, которого фактически не произошло.

статусы транзакции от мемпула до включения в блок

Оператор должен видеть эти состояния. Серый предварительный алерт, зеленое подтверждение и отозванный сигнал с объяснением полезнее отдельных не связанных сообщений. Храните alert_id, чтобы обновлять одну карточку события, а не создавать новую при каждом изменении статуса.

Как отфильтровать MEV-ботов

MEV-бот может занять крупный капитал через flash loan, выполнить несколько свопов и вернуть заем в рамках одной транзакции. Номинальный объем выглядит как движение кита, хотя чистое изменение баланса адреса невелико.

Фильтр должен оценивать экономический результат, а не только валовой объем операций (gross volume). Полезны следующие признаки:

  • циклический маршрут вызовов
  • возврат к исходному активу
  • использование flash-loan контракта
  • много свопов в одном блоке
  • малый чистый поток средств (net flow) после оплаты газа

Известные адреса MEV-поисковиков и сборщиков блоков стоит хранить в отдельном реестре.

Не пытайтесь получить абсолютную классификацию. Ставьте метку suspected_mev с числовой уверенностью и причинами. Аналитик сможет объяснить, почему событие отфильтровано, а модель получится проверить на исторических данных.

Как загружать блокчейн-данные без дублей и пробелов

Надежный конвейер сочетает потоковое чтение новых блоков с пакетным backfill для истории. Потоковая обработка обеспечивает малую задержку, а дозагрузка исторических данных закрывает пробелы после сбоя. Оба пути должны создавать одинаковое нормализованное событие.

Для EVM-сетей источниками служат JSON-RPC узел, журналы контрактов и трассировки транзакций, если они нужны. Индексер вроде The Graph удобен для событий заданных контрактов, поскольку превращает логи в сущности, доступные через GraphQL. Но индексер не заменяет проверку текущей вершины собственной цепочки и не всегда дает pending-данные.

Организуйте загрузку так:

  1. прочитайте номер последнего успешно обработанного блока из контрольной точки (checkpoint)
  2. получите следующий диапазон блоков из узла или индексера
  3. декодируйте логи по ABI и нормализуйте адреса, токены и десятичные разряды
  4. для событий журналов EVM сформируйте стабильный event_id из сети, хеша транзакции и индекса лога; для трассировок, внутренних переводов и событий мемпула используйте отдельные типоспецифичные ключи
  5. запишите сырой payload в холодное хранилище для повторного разбора
  6. вставьте нормализованные события в идемпотентный приемник
  7. сверьте количество блоков, транзакций и логов с источником
  8. обновите контрольную точку только после успешной записи всего диапазона

Стабильный event_id помогает обрабатывать повторную доставку. Ключ должен учитывать тип события: log_index существует для журналов контрактов, но не является универсальным идентификатором для трассировок или pending-транзакций. Если воркер упал после записи, но до обновления контрольной точки, следующий запуск снова прочитает блок.

Приемник должен обеспечивать идемпотентную запись, например через уникальное ограничение в транзакционной базе или отдельный механизм дедупликации перед загрузкой в ClickHouse. Сам ключ в схеме ClickHouse не гарантирует отсутствия дублей.

Для реорганизаций храните block_hash вместе с block_number. Перед финализацией следующего диапазона проверяйте, совпадает ли родительский хеш с локальной цепочкой. При расхождении пометьте события старой ветки как orphaned, вернитесь к общему предку и перечитайте диапазон.

конвейер загрузки блокчейн-данных без дублей и пробелов

Технический сбор данных в режиме OSINT использует похожую дисциплину: источник, время получения, повторяемость и журнал ошибок важнее красивой панели на старте.

Как хранить данные для быстрого анализа

Для такой системы редко хватает одной базы. Реляционное хранилище удобно для справочников адресов, меток, правил и пользовательских настроек. Колоночная база вроде ClickHouse быстро рассчитывает агрегированные показатели по миллионам событий. Redis или другое in-memory хранилище подходит для краткоживущих состояний и дедупликации алертов.

Разделите нагрузку по типам запросов:

КомпонентКакие данные хранитДля каких запросов подходит
PostgreSQLадреса, кластеры, метки, правила, пользователиточечные чтения, транзакционные обновления, связи
ClickHouseпереводы, свопы, балансы, временные срезыагрегации, ретроспективный скоринг, аномалии
Redisкеш цен, последние состояния, ключи дедупликациипроверки с низкой задержкой
объектное хранилищесырые блоки, логи, трассировкиbackfill, аудит, повторное декодирование
очередь сообщенийнормализованные события между сервисамибуферизация, повторная доставка, масштабирование воркеров

В ClickHouse таблицу событий стоит сортировать по наиболее частому пути анализа, например (chain_id, asset_address, event_date, block_number). Отдельные materialized views могут поддерживать дневные потоки, активность кластеров и чистый приток средств на биржи. Не переносите всю OLTP-модель в колоночную базу: частые точечные обновления там неудобны.

Какой должна быть единая схема события

Единая схема события сокращает количество специальных условий в каждом сервисе. Вход может прийти из Ethereum, другой EVM-сети или индексера, но нижние слои должны видеть одинаковые поля.

Минимальный контракт события содержит:

  • event_id как стабильный ключ дедупликации с учетом типа события
  • chain_id, block_number, block_hash и block_time; для pending-событий поля блока могут быть пустыми
  • tx_hash, log_index, from_address и to_address; log_index заполняется для событий журналов после включения транзакции в блок, а для других типов событий может быть пустым
  • asset_address, asset_symbol, raw_amount и normalized_amount
  • usd_value вместе с источником и временем цены
  • event_type, например transfer, swap, bridge_deposit или bridge_withdrawal
  • status, execution_status, cluster_id, entity_type и confidence (уровень уверенности)
  • schema_version и ingested_at

Меняйте схему через версии. Если завтра декодер начнет различать внутренний перевод биржи и клиентский депозит, старые события можно будет обработать повторно без неявного изменения значения полей.

Как оценивать качество сигнала вместо простого порога суммы

Скоринг повышает качество сигнала, объединяя размер события, редкость поведения, доверие к метке и рыночный контекст. Порог в долларах оставляйте первым дешевым фильтром, а не окончательным решением.

Практическая формула может выглядеть так:

score = size_score × 0.25 + anomaly_score × 0.25 + entity_score × 0.20 + destination_score × 0.20 + context_score × 0.10

Перед расчетом все компоненты нужно привести к общей шкале, например от 0 до 1. Веса не универсальны: их следует калибровать на исторических данных отдельно для каждого типа актива.

anomaly_score сравнивает текущую сумму с собственной историей кластера, например через медиану и median absolute deviation. Это лучше глобального порога: перевод на 5 млн долларов может быть обычным для кастодиана, но нетипичным для кошелька, который два года не перемещал средства.

destination_score учитывает получателя. Перевод в известный DEX router, на биржевой депозит, в мост или на новый адрес имеет разный смысл. context_score добавляет изменения ликвидности, волатильности, открытого интереса или подтвержденное событие вокруг токена. Данные соцсетей здесь служат дополнительным контекстом, а не решающим фактором.

скоринг качества сигнала об активности криптокита

Перед включением уведомлений повторно обработайте исторические данные (replay). Измерьте precision, долю полезных сигналов среди всех срабатываний, и recall, долю известных важных событий, которые нашла система.

Для оценки recall нужна контрольная выборка заранее определенных важных событий; без нее показатель нельзя надежно рассчитать. Если система отправляет сотни сообщений в час, пользователь отключит уведомления независимо от технической точности.

Как добавить сигналы из соцсетей и не испортить ончейн-аналитику

Соцсети добавляют объяснение, которого нет в блокчейне: анонс разблокировки токенов, миграцию контракта, инцидент протокола или плановый перевод казначейства. Они не должны менять подтвержденный ончейн-факт. Их роль состоит в ранжировании и комментариях.

Собирайте публикации из официальных каналов проекта, проверенных страниц команды и тематических новостных лент. Для каждого сообщения храните источник, URL, время публикации, время получения, язык, упомянутые активы и оценку достоверности. Отдельный воркер может распознавать сущности и классифицировать темы, не пытаясь сразу предсказать направление цены.

Поток обработки выглядит так:

  1. получите сообщение через разрешенный API, RSS или контролируемый сбор через браузер
  2. очистите разметку и определите язык
  3. найдите токены, протоколы, адреса и тип события
  4. проверьте источник и отбросьте дубликаты репостов
  5. запишите результат в хранилище контекста с коротким сроком хранения (TTL)
  6. сопоставьте сообщение с ончейн-событием по активу и временному окну
  7. добавьте объяснение к сигналу без изменения сырой транзакции

Автоматизированный сбор из веб-интерфейсов нестабилен из-за сессий, лимитов и изменений DOM. Для Telegram полезно заранее разделить официальный API, экспорт разрешенных каналов и контролируемый парсинг Telegram, чтобы критический конвейер не зависел от случайных селекторов.

объединение ончейн-данных с сигналами социальных сетей

Если официального API нет, браузерные сессии нужно изолировать, а сбор вести с ограниченной частотой и журналом сбоев. Afina может быть инфраструктурным слоем для отдельных профилей, cookies и прокси, а локальный API позволяет запускать разрешенные сценарии через Playwright или Puppeteer. Это не отменяет правила платформы и не делает недостоверный источник надежным.

Чем собственная система отличается от готового трекера китов

Готовый трекер запускается быстрее и подходит для ручного наблюдения. Собственная система нужна, когда у команды есть специфические адреса, свои правила кластеризации, требования к задержке или необходимость связать ончейн-поток с внутренними данными.

КритерийГотовый сервисСобственная система
стартнесколько минут для настройки алертовнужны узлы, хранилища и разработка
прозрачность метокзависит от поставщикаможно хранить доказательство и уровень уверенности
кроссчейн-логикафиксированная поддержка сетейправила можно адаптировать
мемпулдоступен не во всех продуктахконтроль источников и статусов транзакции
исторический анализограничен тарифом и моделью данныхповторная обработка исторических событий в своем хранилище
поддержкаменьше операционной работынужны мониторинг и дежурства
риск зависимостиизменение тарифов или API поставщикарасходы на инфраструктуру и команду

Большинству команд лучше начать с гибридного подхода. Сначала проверьте гипотезы готовым трекером и собственным реестром адресов. Когда станет понятно, какие сигналы действительно используются, переносите критические части в свой конвейер. Так команда не потратит месяцы на инфраструктуру, пока не подтвердит пользу самих сигналов.

Первый пилот можно ограничить одним активом, одной сетью, 50 адресами и одним типом события, например переводом токена на отмеченную биржу.

В течение двух недель аналитики оценивают каждый алерт как полезный, нейтральный или ложный. Только после этого имеет смысл добавлять мемпул, мосты и модель социального контекста. Такой журнал станет набором данных для калибровки скоринга, а не субъективным спором о «качественных сигналах».

Пример обработки крупного перевода USDT

Представим, что узел заметил вызов transfer контракта USDT на сумму около 8 млн долларов. До включения транзакции в блок система может декодировать параметры такого вызова, сохранить транзакцию со статусом pending и проверить адрес отправителя в реестре.

Затем она определяет тип получателя по проверенным меткам: биржевой депозитный адрес, контракт, мост или неизвестный кошелек. Для более сложных контрактных вызовов фактические переводы и суммы могут стать известны только после выполнения транзакции.

Нормализатор сверяет сумму с десятичными знаками токена и ценовым источником, а скоринг сравнивает операцию с обычной активностью кластера. Если оценка превышает порог, сервис создает предварительное уведомление с объяснением причин, а не с прогнозом цены.

обработка крупного перевода USDT и обновление статуса

После включения транзакции в блок и нужного количества подтверждений тот же alert_id получает статус confirmed. Если обнаружена возможная замена, уведомление остается предварительным до проверки канонической цепочки. Когда альтернативная транзакция включена вместо исходной или блок выбыл из канонической цепочки, уведомление обновляется или отзывается.

В этом сценарии аналитик получает историю изменений одного сигнала и может проверить данные, на которых основана его оценка.

Какие риски нужно контролировать перед рабочим запуском

Основные риски связаны с качеством данных, задержкой, ложной атрибуцией и неправильной интерпретацией. В интерфейсе нужно четко отделять подтвержденные данные от аналитических предположений о мотивах перевода.

Перед запуском задайте контрольные метрики:

  • задержку между временем создания блока и появлением нормализованного события
  • долю блоков и логов, успешно сверенных с источником
  • количество дублей на миллион событий
  • долю алертов, отозванных после замены или реорганизации
  • precision по ручной оценке аналитиков
  • время от сбоя до восстановления с checkpoint
  • долю адресов с меткой, источником и confidence

Никогда не передавайте необработанное уведомление об активности кита прямо в торговый движок. Между сигналом и любым финансовым действием нужны лимиты риска, проверка ликвидности, максимально допустимый slippage и ручное подтверждение для новых правил. Один ошибочно отмеченный мост способен выглядеть как массовый выход из актива.

Для браузерного сбора соцсигналов разделяйте профили по источникам, ограничивайте права API и не записывайте cookies или токены в журналы. Afina помогает организовать изолированные рабочие сессии и подключить автоматизацию к локальному браузеру. Материал предоставлен исключительно в ознакомительных и образовательных целях.

Расширяйте пилот только после проверки качества уведомлений и стабильности загрузки данных. Сначала добавьте новые типы событий, затем кроссчейн-связи и только после этого социальный контекст. Так легче найти пробелы в данных до усложнения архитектуры.

Скачать

FAQ — Часто задаваемые вопросы

Как отслеживать криптокитов в блокчейне?

Сформируйте реестр адресов, подключите источник блокчейн-данных, настройте нормализацию событий и проверяйте сигналы перед отправкой уведомлений.

Что такое криптокит?

Криптокит представляет собой крупного держателя криптоактивов, операции которого могут влиять на ликвидность или рынок. Для отслеживания анализируют адреса и кластеры, не связывая их автоматически с конкретным человеком.

Как найти адрес криптокита?

Проверьте крупнейших держателей токена, большие доли в пулах ликвидности и ранние распределения, затем исключите биржи и контракты.

Можно ли увидеть транзакцию кита до подтверждения?

Да, в сетях с публичным мемпулом pending-транзакцию можно получить из узла. Ее еще могут заменить, отменить или не включить в блок.

Означает ли крупный перевод на биржу будущую продажу?

Нет. Даже подтвержденный депозит на биржу не доказывает, что актив продадут: нужен анализ последующих операций.

Как отличить криптокита от MEV-бота?

Оцените чистое изменение баланса, цикличность вызовов, flash loan и число свопов в транзакции. MEV-операция часто имеет большой оборот, но малый net flow.

Какую базу данных выбрать для мониторинга блокчейна?

Используйте реляционную базу для меток и правил, а колоночную для крупных аналитических выборок. Сырые блоки лучше хранить в объектном хранилище.

Как отслеживать кита между разными блокчейнами?

Сопоставляйте депозиты и выводы через мосты по токену, сумме, времени и идентификатору сообщения. Добавляйте адрес в кластер только при достаточной уверенности.

Можно ли предсказать цену по движениям криптокитов?

Нет, отдельный перевод не дает надежного прогноза цены. Активность криптокитов служит дополнительным контекстом наряду с ликвидностью, волатильностью и структурой рынка.

Зачем добавлять сигналы из соцсетей?

Соцсети помогают объяснить разблокировки токенов, миграцию или инцидент протокола, но не подтверждают транзакции.

Похожие термины

Читать дальше:Web scraping — автоматизация сбора данных | Afina Browser
Кирилл Кученёв-Полодиенко

Привет! Я Кирилл Кученёв-Полодиенко — Technical Product Manager (Automation) в команде Afina.

Поделиться