Как программа «Блокнот» определяет кодировку файла?
Создаю в far пустой файл без расширения с кодировкой ansi 1251 или utf8.
Открываю блокнотом, нажимаю "сохранить как" и вижу, что блокнот уже предлагает ansi или utf соответственно.
Как это происходит?
Far при сохранении файла в UTF-8 пишет в начале файла BOM маркер (EF BB BF), указывающий что весь текст далее закодирован с помощью UTF-8 кодировки. А при сохранении в ANSI - ничего не пишет. UTF8 может не содержать BOM - и тогда, определение кодировки лежит на плечах редактора и/или пользователя. Некоторые редакторы анализируя строку умеют определять верную кодировку с ощутимой долей вероятности.
Пустой файл это совсем 0 байт, без потоков и совершенно без какой-либо информации, даже о кодировке. Т.е., он не содержит совершенно никакой информации, совсем, вообще.
только что проверил - создал пустой, "поменял" кодировку на UTF-8+BOM (потому что блокнот с BOM только умеет), сохранил - вуаля, файл стал 3 байта - подсказать, что там, в этих 3 байтах?
Окей, я понял, "типа пустой" файл с кодировкой utf8 имеет размер в 3 байта, в hex редакторе видно EF BB BF. Дальше пойдут байты символов.
Но пустой файл в ANSI имеет размер 0 байт и там действительно ничего нет.
То есть, вывод такой:
Блокнот определяет кодировку по первым байтам или их отсутствию, верно?
Qubc, сохрани в блокноте 4 "пустых" файла (там же всего 4 кодировки), да посмотри в двоичном виде, что получается: анси - пусто, юникод - 2 байта, юникод бе - те же байты в обратном порядке, ютф с бом - 3 байта
Ezhyg, немного не по теме, но всё ж позволю себе - а вот в hex редакторах, в колонке где показаны символы, соответствующие тому или иному байту - эти символы уже зависят непосредственно от самого hexa?
Ну, например Fileinsight.
View as hex
C6 20 5A выводит . Z
А другой бы по-своему интерпретировал бы C6, верно?
Кстати,
View as text
Ж Z
Qubc, зависит от таблицы используемой редактором или смотрелкой, ну и от внутреннего "автоопределителя". Порой такой сюр показывает... пока вручную нормально не настроишь :).
Простой
Простой
