Как сделать нестандартное расширение файла?

??? А что, нельзя?

Если речь про Windows Explorer (aka File Explorer aka Проводник), жмете ПКМ -> Создать -> Текстовый документ, переименовываете файл. Если не показывается расширение, где-то в меню должна быть кнопка Изменить параметры папок и поиска, открываете вкладку Вид, отключаете галку Скрывать расширения для зарегистрированных типов файлов.

Если речь про модальные окна Сохранить файл, выбираете Все файлы как Тип файла и пишете имя файла с расширением (test.test).

А на уровне ядра Windows ограничений на нестандартные расширения вообще нет. Да и вроде уже нет 8.3.

Наверное будете смеяться, но я иногда это делаю обычным винраром

Стандартных расширений нет.
Есть имя файла, для удобства разделенное точкой.
Есть приложения которые открывают и признают "своими" только файлы с определенными расширениями.
Можете смело называть файлы vasya.pupkin или egor.viktorovich

Если зайти в панель управления - программы по умолчанию, то там можно указать какой программой открывать определенные типы файлов.
Например можете указать что все файлы с расширением .viktorovich нужно открывать блокнотом, а все файлы с расширением .muzon следует открывать медиаплеером.

Возможно я неправильно выразил проблему. Без имени, а только расширение!
К примеру: .file, .bitcoin, .toster или .aye и т.д.

что вас держит-то?
возьмите блокнот и создайте любой файл. Хоть без имени, хоть без расширения.

Создаете файл, переименовывайте его например так
.gitignore.

Именно так, с точкой в начале и в конце, и вуаля - у вас есть файл .gitignore
В Windows действительно нельзя просто так оставить пустым имя файла.