Это интересное чтение:
https://en.m.wikipedia.org/wiki/Bracket
Ниже приведены мои собственные наблюдения.
Дизайнеры C очень старались принять значение символов и конструкций, так как они использовались в течение сотен лет на обычном письменном языке. При этом им приходилось работать с довольно ограниченным набором символов ASCII. В западном языке больше символов группировки используется в письменном тексте, но они просто не вошли в ASCII.
На обычном языке значение круглых скобок заключается в предоставлении дополнительной информации без прерывания основного сообщения. Это имеет смысл при вызове процедуры: основное сообщение - это действие, которое нужно выполнить, а подинформация - это аргументы.
Фигурные скобки используются для группировки. «Эта коллекция слов принадлежит друг другу, должны быть отделены от остальных». Поэтому имеет смысл использовать их для блоков кода, составных операторов.
Квадратные скобки используются для вставок в текст, которые не были частью оригинала, чтобы уточнить исходный текст и обеспечить контекст. Или указать на упущение с помощью многоточия: [...]. «Она [королева] не была удивлена». В компьютерном программировании имеет смысл использовать скобку для индексации массива, поскольку это своего рода контекст. «Массив? Какой массив? Ну, конкретно этот элемент». Но даже если первоначальное значение не полностью охватывает использование на компьютерном языке, в ASCII осталось не так уж много других опций.
Поэтому я бы сказал, что это комбинация предшествующего уровня техники и того, что было доступно в то время, что привело к использованию квадратных скобок для индексации массивов.
[редактировать из-за комментария Алекса]
Согласно этому источнику, ASCII был введен в 1963 году и получил одобрение правительства в 1968 году. Согласно этой вики, развитие языка Си началось только в 1969 году . Поэтому вполне вероятно, что г-н Ричи при выборе персонажей следил за этим новым широко поддерживаемым стандартом ASCII.
Пожалуйста, посмотрите также другие ответы, которые подтверждают, что Алгол, «мать многих языков», оказал сильное влияние.