Вы можете выйти в интернет из-под айпишника Белого Дома и из этого получился небольшой скандал. Все, наверное, уже знают про виды проксей и резидентские прокси, и чем они отличаются от проксей в датацентрах, но не все знают историю одного из крупнейших игроков этого рынка, которую я вам расскажу. История создания огромной сети прокси, и прибыльного бизнеса на ее базе, великолепна в своей элегантности и простоте. История немножко серая, как без этого в проксях.
В 2012 году появился бесплатный VPN-сервис Hola. Пользователи ставили расширение в браузер или приложение, чтобы обходить блокировки и получать доступ к сайтам из других стран. Бесплатно, удобно, никаких подписок.
Но была одна интересная деталь. Hola работала не как обычный VPN, где весь трафик идёт через серверы компании. Она использовала P2P-сеть, в которой пользователи сами становились узлами для передачи чужого трафика.
То есть вы ставили себе бесплатный VPN, а взамен предоставляли свой домашний IP и часть интернет-канала другим пользователям. Причём далеко не все понимали, что именно происходит.
А дальше основатели Hola придумали, как на этом заработать.
Они создали компанию Luminati, которую позже переименовали в Bright Data, и начали продавать бизнесу доступ к этой сети IP-адресов. Я у брайтдаты для ScrapeNinja и других веб-скрейпинговых нужд купил не один терабайт трафа, и пристально следил за их линейкой продуктов, в какой-то момент они и конкурента ниндзе выпустили (собаки). И даже с Метой по поводу парсинга инстаграма судились, и выиграли (а я с таким же кейсом, как вы помните, зассал, потому что не было пары миллионов баксов на суд)
Представьте, что вам нужно спарсить миллион страниц Amazon. С обычных серверных IP вас довольно быстро заблокируют. А тут можно отправлять запросы через реальные домашние подключения пользователей из разных стран. Для целевого сайта это выглядит как обычный посетитель.
Получилась красивая бизнес-модель. Пользователи получают бесплатный VPN, компания получает миллионы резидентских IP, а бизнес платит за доступ к ним.
Идем дальше.
Зачем ограничиваться собственным VPN, если можно встроить эту механику в чужие приложения?
Bright Data создала SDK, который сторонние разработчики могли добавлять в свои продукты. Разработчик получает дополнительный доход, пользователь ставит на свой андроид тапалку и фактически становится частью ботнета, предоставляет часть своего интернет-канала, а Bright Data расширяет прокси-сеть.
Идеальная схема дистрибуции. Не нужно самостоятельно привлекать каждого пользователя. Достаточно договориться с разработчиком приложения, у которого уже есть сотни тысяч установок.
По данным Proxyway, выплаты могли составлять примерно $100-350 в месяц за тысячу IP. Для приложения с большой аудиторией это вполне ощутимые деньги, особенно если основной продукт бесплатный.
Конечно, без скандалов не обошлось.
В 2015 году выяснилось, что сеть Luminati использовали для DDoS-атаки на форум 8chan. По сути, домашние подключения обычных пользователей Hola оказались частью инфраструктуры для атаки. После этого компанию начали активно обвинять в создании коммерческого ботнета. Гугл внедрил в сканирование плей стора эвристики чтобы выявлять sdk брайтдаты и аналогичных игроков.
Со временем Bright Data стала гораздо внимательнее относиться к согласию пользователей, проверке партнёров и контролю трафика. По крайней мере, именно так компания описывает свою нынешнюю модель.
Но сама идея никуда не делась. Сегодня Bright Data остаётся одним из крупнейших игроков рынка резидентских прокси, а SDK-монетизация и отдельное приложение EarnApp продолжают использовать ту же базовую механику.
Если не говорить о сомнительной этике - а для меня она сомнительная, особенно в части sdk и использования юзеров в тёмную - мне в этой истории нравится то, как они решили главную проблему прокси-бизнеса.
Обычно, чтобы построить инфраструктуру, нужно покупать серверы, арендовать каналы, договариваться с датацентрами и операторами.
А здесь инфраструктуру предоставляют сами пользователи. Причём привлекают их не только владельцы сети, но и тысячи сторонних разработчиков, заинтересованных в дополнительном заработке.
По сути, они превратили бесплатные приложения в канал дистрибуции физически распределённой сетевой инфраструктуры.