Имеет ли значение формат конца строки в файле robots.txt?

Простой вопрос: я должен убедиться, что для моего файла robots.txt используется конец строки Unix, или это не имеет значения?

Это не важно Согласно спецификации:

Файл состоит из одной или нескольких записей, разделенных одной или несколькими пустыми строками (оканчивается на CR, CR / NL или NL).

• CR = возврат каретки (т.е. \ r)
• CR / NL = возврат каретки / новая строка (то есть \ r \ n)
• NL = Новая строка (т.е. \ n)

Это означает, что вы можете использовать \r. \n, или так \r\nи будет работать.