Как заполнить матрицу по данному образцу?

В условии лишь показано, какие числа в каких ячейках должны стоять, а формулы как таковой там нет.

Это потому что написание подобной формулы будет очень громоздким, и по сути и будет тем алгоритмом который от вас просят.

bogolt: Вот я и прошу помочь с написанием этой формулы, хотя бы дать подсказку.

Ну подсказка у вас в примере. Убедитесь что понимаете по какому принципу заполнена матрица из примера ( с оглядкой на матрицу слева ). Затем попробуйте сформулировать для себя словами правила заполнения такой матрицы ( это уже и будет алгоритм ) ну и потом пишите код.
Собственно если вам матрица кажется слишком сложной то разделите ее на части - разделите ее диагоналями на 4 части, и попробуйте разобраться с каждой отдельно, а потом уже соединить все вместе.