C4fc6194affa4cabb05f37289294b11d

Особенности сетевой инфраструктуры Wikipedia

Онлайн-энциклопедия Wikipedia — один из самых посещаемых ресурсов мира. На сайт заходит полмиллиарда человек в месяц. Получается, что каждую секунду идет нагрузка в 200 запросов. Само собой, все это требует достаточно производительной сетевой инфраструктуры, рациональной организации структурных элементов дата-центра. Стоит также помнить, что Wikipedia существует на пожертвования, поэтому инженерная команда очень ограничена в возможностях.

Именно поэтому главная задача работников дата-центра Wikipedia является постоянная оптимизация производительности оборудования и программного обеспечения, а также организация беспроблемного кэширования. Особенностью работы сайта является небычная страница, сообщающая о недоступности Wikipedia. Если сервера перегружены, то отдается заглушка, на которой размещена информация о возможностях внесения пожертвований на счет Wikipedia. Здесь нет критически важных бизнес-процессов, поэтому работники инженерной команды сайта могут позволить себе более спокойно реагировать на простои оборудования.

Руководство инженерной службы Wikipedia даже шутит, что чем больше простоев случается, тем больше пожертвований получает онлайн-энциклопедия. При этом сам ресурс размещается на ограниченном количестве серверов в городах Ашберн, Амстердам, Сан-Франциско и Тампа. Понятно, что на пожертвования нельзя построить дата-центр, подобный тем, что строят Facebook и Google. Тем не менее, помещения ЦОД-ов Wikipedia вполне отвечают общепринятым стандартам. Несмотря на простои, которые все же иногда случаются, сам ресурс доступен практически 99,99% времени.

32fad4994ad0454ebd998fcea12eee29

А это — уже солидное достижение команды поддержки, поскольку на Wikipedia зарегистрировано более 23 миллионов пользователей, только англоязычная версия ресурса насчитывает около 34 миллионов страниц. Эти страницы получают 8,8 миллионов просмотров в час. А расположено на страницах 4,7 миллиона статей. У ресурса есть интерактивная статистика, где можно посмотреть подробную информацию о нагрузке.

В 2001 году, когда энциклопедия только создавалась, она работала только с одним сервером. Через 7 лет, в 2008 году, серверная инфраструктура ресурса включала 200 серверов для обработки приложений, 20 серверов для хранения и обработки данных, плюс 70 кэш-серверов. Сейчас общее количество серверов выросло до 885, и продолжает увеличиваться. В качестве ПО здесь используется программное обеспечение MediaWiki. Что касается серверных систем, используются Squid, PHP, Memcached. Более подробную информацию о принципе функционирования ЦОД-ов Wiki можно просмотреть здесь.

Как итог — высоконагруженный сайт с минимальными затратами и небольшим количеством оборудования работает без особых проблем.

comments powered by Disqus