Про любителей фидов и RSS

Все как обычно. Письма счастья о повышенной нагрузке на хостинг не дают расслабиться. Повышение небольшое — полтора-два раза, но неприятно, тем более, что массовые мероприятия по обороне проводились. На этот раз армия читателей фидов с жадностью набросилась на горячие новости, неслыханная популярность — по 8-10К уникальных хостов и все запросы к ленте новостей и ленте комментариев. Все дружно и скромно читают (ну спамить-то трудно после всех защит). В общем множество запросов, которые и дают нагрузку на сервер. Проблема не в отслеживании оных а в том, что на аккаунте сидит десяток сайтов и какой из них нагружает еще надо угадать. Надо запросить и проанализировать логи. Сравнить с нагрузкой предыдущих периодов или выявить закономерности влияющие на затраты ресурсов. А вот как ситуация выглядит в логах:
Атака на ленту комментариев (feed/comment) и новостей (feed).
198.23.89.247 — — [06/Nov/2014:22:23:53 +0200] «GET /feed/ HTTP/1.0» 200 15829 «-» «-»
198.23.89.247 — — [06/Nov/2014:22:23:54 +0200] «GET /comments/feed/ HTTP/1.0» 200 10707 «-» «-»
173.193.76.216 — — [06/Nov/2014:22:24:00 +0200] «GET /comments/feed/ HTTP/1.0» 200 10707 «-» «-»
173.193.103.185 — — [06/Nov/2014:22:24:08 +0200] «GET /feed/ HTTP/1.0» 200 15829 «-» «-»
50.97.85.12 — — [06/Nov/2014:22:24:32 +0200] «GET /feed/ HTTP/1.0» 200 15829 «-» «-«
Таких запросов тысячи и лог файл, в отличии от своего нормального вида, представляет собой скромный столбец изредка разрезаемый НЧ запросом от поисковика, истинным читателем или запросом от поискового бота.
Второй вопрос — что со всем этим делать? Закрывать. Строить еще одно укрепление в бастионе защиты сайта. Поэтому поводу приходит несколько идей:
- Временно перестать транслировать ленту новостей.
- Временно прикрыть полностью доступ к feed-ам.
- Заблочить доступ фаерволом хостера (хорошая мысль).
Прикрывать пока не буду, надо проверить пару интересных догадок. Практические навыки могут пригодиться в дальнейшем противостоянии, сайтов много, а значит бой продолжается и надо готовиться к новым напастям.
Кстати, по ходу дела выяснилось, что активным посетителем атакуемого сайта стал bing, его бот внимательно анализировал информацию, копался в древних статьях… Что-то недоброе Microsoft замышляет.
Всего комментариев: 0