Что это
Текстовый файл по адресу вашсайт.ру/robots.txt. Робот читает его первым и следует указаниям: сюда ходи, сюда не ходи.
Закрывают обычно служебное: админку, личные кабинеты, технические адреса. Там же указывают ссылку на карту сайта.
Чем он опасен
Одна строка Disallow: / закрывает от индексации весь сайт целиком. И это не редкая авария: сайт делают закрытым на время разработки, а после запуска забывают открыть.
Симптом узнаваемый: сайт работает, материалы выходят, а в поиске месяцами пусто.
Почему это важно вам
Это один вопрос, который стоит задать при запуске: сайт открыт для индексации, проверяли?
Иногда закрытость — осознанное решение. Например, пока на сайте чужой или временный контент, его специально держат закрытым, чтобы не портить репутацию домена на старте. Но тогда должен быть назначен момент, когда рубильник включат.