Я неспешно переезжаю на VDS от gandi.net. Был дедик с объёмом памяти один гиг, а переезаю на 256 метров. Пока не знаю, удастся ли втиснуться. Конечно же, возникают вопросы, а можно ли убыстрить мои сайты, заставить их жрать меньше памяти. Сегодня ночью я сражался с web-brains, а точнее с byteflow, на котором они работают. Выяснилось, что более одного запроса в секунду apache/mod_wsgi демон не обрабатывает, хоть ты тресни. Я пока не понял, во что именно упирается byteflow, но это не важно в рамках данного сообщения. Решил я закешировать веб-мозги, да так шобы прям в усмерть закешировать. Как раз вчера один знакомый упоминал staticgenerator и я понял — самое время призвать на помощь его мощности статическогенерические.
Идея, лежащая в основе staticgenerator оень простая и дерзкая. Адрес веб-страницы похож на файловый путь. Когда мы запрашиваем страницу /2009/08/07/hello-world, то staticgenerator создаёт в заданном каталоге такую же структуру т.е. каталог 2009, в нём каталог 08, в нём каталог 07, в нём каталог hello-world, а в нём файл index.html, куда и записывается содержимое сгенерированной страницы. Всё это делает специальная middleware. Далее начинается самое интересное, мы настраиваем веб-сервер так, чтобы он смотрел в заданном каталоге закэшированный файл и если там он есть, то файл выдаётся пользователю и джанго-демон даже не дёргается. Вот такие пироги :)
Далее я опишу технические детали того, как я прикрутил staticgenerator конкретно к byteflow.
Для начала неплохо установить staticgenerator через easy_install
Далее идём в settings_local.py проекта и пишем там такое в конце:
# Здесь мы просим staticgenerator складывать кэш файл в каталог нужный
WEB_ROOT = '/web/cache/staticgenerator/web-brains.com'
# Это регулярные выражения. Будут кэшироваться только те страницы, которые
# удовлетворяют выражениям. Я поковырялся в urls файлах byteflow и выбрал те,
# которые относятся к непосредственному отображению данных
STATIC_GENERATOR_URLS = (
r'^/$',
r'^/feeds',
r'^/\d',
r'^/tag',
r'^/tags',
r'^/featured',
r'^/author',
r'^/sitemap\.xml',
r'^/robots\.txt',
)
# Так можно в byteflow добавить новую middleware из setttings.py
ADDITIONAL_MIDDLEWARE= ('staticgenerator.middleware.StaticGeneratorMiddleware',)
Ещё я в settings.py добавил cache_manager в ADDITIONAL_APPS. А что такое cache_manager? А это такое приложение, которое сигналы ловит при создании нового поста или нового комментария и грохает весь кэш. Можно, конечно, хорошо подумать и написать очищение только изменившихся страниц, а можно просто грохнуть быстренько всё :) Я запихал код в cache_manager/__init__.py — таким образом я добился его выполнения при старте сайта т.е. установки нужных обработчиков сигналов.
from subprocess import Popen
from staticgenerator import quick_delete
from django.db.models.signals import post_save
from django.conf import settings
from blog.models import Post
from discussion.models import CommentNode
def clear_cache(**kwargs):
Popen('rm -rf %s/*' % settings.WEB_ROOT, shell=True)
post_save.connect(clear_cache, sender=Post)
post_save.connect(clear_cache, sender=CommentNode)
Код элементартный. Если создали Post или CommentNode — грохаем кэш!
Так, так. Вот мы сайт настроили. Осталось веб-сервер настроить. Веб-сервер у нас, конечно, nginx. У меня такой конфиг для веб-мозгов:
server {
server_name .web-brains.com;
access_log /var/log/www/web-brains.com-access.log;
error_log /var/log/www/web-brains.com-error.log warn;
include fastcgi_params;
location /admin-media {
alias /home/web/lib/django_src/django/contrib/admin/media;
}
location /static/ {
root /web/web_brains;
}
# Нас интересует ниженарисованный кусок конфига
# Делаем корнем для статики тот каталог, куда
# staticgenerator кэш пишет.
root /web/cache/staticgenerator/web-brains.com;
location / {
# Всё что не GET, отдаём бэкенду. У меня это apache/mod_wsgi
if ($request_method != GET) {
proxy_pass http://127.0.0.1:8080;
break;
}
# Вот тут чуток меняем путь поиска т.к. staticgenerator
# пишет кэш в index.html файлы
if (-f $request_filename/index.html) {
rewrite (.*) $1/index.html break;
}
# Если файл таки не нашёлся, идём в бэкенд
# иначе ничего не делаем и благополучно выкидываем
# закэшированный файл пользователю
if (!-f $request_filename) {
proxy_pass http://127.0.0.1:8080;
break;
}
}
}
Гм, ну вот и всё. Ща сохраню статью и заодно проверю, что кэш грохнулся. Я запускал ab тесты прямо на VPS. Раньше морда веб-мозгов раздавалась со скростью 1page/second, а щас 668pages/second. Клёво :)
