Что это
Разница между «напиши статью» и «ты редактор издания для экспертов, пишешь так-то, не используешь то-то, каждую цифру подтверждаешь источником» - это и есть системный промпт.
Как он влияет на результат
Сильнее, чем формулировка конкретной задачи. Большая часть жалоб «нейросеть пишет водянисто» решается не переписыванием запроса, а заданием рамки один раз на всю работу.
Почему это важно вам
Системный промпт - это редполитика, переведённая в машинный вид. Один раз сформулированная, она перестаёт зависеть от того, кто сегодня ставит задачу.