Модуль Custom robots.txt позволяет хранить свои данные для файла robots.txt в базе данных. При обновлении ядра, можно случайно перезаписать файл robots.txt, в результате чего все изменения, которые вы в него внесли самостоятельно, потеряются. Чтобы этого не произошло, можно использовать этот модуль.
Он позволяет хранить в базе данных все изменения, которые вы хотите внести в этот файл и записывать их в файл при сохранении параметров модуля и запуске cron. Таким образом, если даже случайно заменить файл robots.txt при обновлении, то при очередном запуске cron все нужные данные будут записаны в него заново.
Настроить модуль можно на странице admin/config/search/custom_robots.