Поскольку переход на новый zabbix состоялся и назад пути уже нет, мне пришлось крепко задуматься над оповещениями, которые этот самый zabbix рассылает. А задуматься есть над чем: если раньше сработавшие триггеры выдавали состояния «ON/OFF», то теперь — «PROBLEM/OK». И эта проблема вовсе на такая мелкая, как может показаться на первый взгляд, особенно если учесть, что оповещения приходят в разное время суток людям с разной степенью адекватности их восприятия.

С одной стороны, это изменение к лучшему: «эргономика» повысилась и когда в 4 утра приходит SMS, спросонья спутать «PROBLEM» с «OK» гораздо труднее, чем «ON» с «OFF». И это хорошо. А с другой стороны, после обновления в оповещениях появились такие «шедевры», как «flycat.info: Low free disk space on volume /www/cache: OK».

Напомню, раньше это выглядело как «flycat.info: Low free disk space on volume /www/cache: OFF». С этим нужно было что-то делать, потому что некоторые оповещения получали весьма далёкие от системного администрирования и zabbix люди, которые резонно недоумевали: «Так что там у нас со свободным местом — его мало, или всё-таки ОК?»

Кроме того, есть категория триггеров, которые проблемы в себе не содержат, например, изменение количества пользователей на машине. Раньше оповещение об этом выглядело более «нейтрально»: «flycat.info: Number of connected users changed: ON». Сейчас это стало «проблемой»: «flycat.info: Number of connected users changed: PROBLEM». Не очень приятно получать такое сообщение, но, похоже, выхода здесь нет.

В ходе экспериментов удалось выработать общие требования к формулировке текста триггера и сообщения:

• Оповещение должно быть понятным и не допускать двойного толкования
• Содержание текста триггера должно быть как можно короче (не в ущерб содержательности), чтобы, по возможности, SMSка помещалась на экране сотового без прокрутки
• Триггер должен понятно выглядеть и в оповещении (по почте, SMS, Jabber) и в Zabbix Dashboard и в «Monitoring — Triggers»
• Поскольку статус теперь явно указывает на проблему, формулировка триггера должна быть близка к формулировке айтема, его породившего
• Для удобства мы убрали переменную {HOSTNAME} из всех триггеров и «загнали» её непосредственно в Action оповещений

Теперь осталось, подобно скульпторам, «отсчечь всё лишнее». Таким образом формулируя триггер про свободное место в таком виде: «Free space on /www/cache», мы получаем оповещение формата: «flycat.info: Free space on /www/cache: PROBLEM». По-моему, всё очень понятно и недвусмысленно: проблема со свободным местом на /www/cache на машине flycat.info.

Теперь разберёмся с доступностью/недоступностью. Прежняя формулировка была: «flycat.info: Server is unreachable — ON». Поразмыслив, мы убрали «сервер» и изменили это в «flycat.info: Reachability: PROBLEM». Проблема, так сказать, с доступностью. Кстати, странно, почему-то в одном шаблоне встречаются формулировки «Host information was changed on…» и «Server is unreachable». В общем, чтобы не заморачиваться на этот счёт, мы всё удалили 🙂

Удалены были также все туманные слова «Lack of free swap space…» и «Low free disk space…» а также » Low number of free inodes».  (И почему swap — Lack, а дисковое место и иноды — low?) Теперь всё чётко: имя машины (flycat.info), параметр (free swap), его значение («PROBLEM/OK»).

Все триггеры, отвечающие за процессы, теперь выглядят так: «flycat.info: Process SSHD: PROBLEM». Это значит, что упал SSHD.

А изменение количества зашедших пользователей теперь выглядит как «flycat.info: N of logins changed: PROBLEM«. Немного корявенько, но тоже вполне понятно.

После того, как изменения были опробованы на отдельной машине (текст приходящих сообщения читался и в почтовом клиенте и на сотовом в виде SMS), и формулировки были признаны удачными, пришло время поправить шаблоны и распространить изменения на все машины.

Конечно, такие изменения — не догма и предполагается изменять формулировки и дальше. Кстати, интересно было бы узнать мнение читателей и их опыт в этой области.