Introduction to Unicode and UTF-8

• Скрипты
• Самолеты
• Единицы кода
• Графемы
• Глифы
• Последовательности
• Нормализация
• Смайлики
• Первые 128 символов
• Кодировки Unicode
  • UTF-8
  • UTF-16
  • UTF-32

Юникод - этоотраслевой стандарт последовательного кодирования письменного текста.

Есть много наборов символов, которые используются компьютерами, но Unicode является первым в своем роде, нацеленным на поддержку каждого письменного языка на Земле (и за его пределами!).

Его цель - предоставить уникальный номер для идентификации каждого символа для каждого языка на любой платформе.

Unicode сопоставляет каждый символ с определенным кодом, который называетсякодовая точка. Кодовая точка принимает формуU+<hex-code>, начиная сU+0000кU+10FFFF.

Пример кода выглядит так:U+004F. Его значение зависит от используемой кодировки символов.

Unicode определяет разныекодировки символов, наиболее часто используемые из них - UTF-8, UTF-16 и UTF-32.

UTF-8 определенно является самой популярной кодировкой в семействе Unicode, особенно в Интернете. Этот документ написан, например, в UTF-8.

В настоящее время реализовано более 135 000 различных символов с местом для более чем 1,1 миллиона.

Скрипты

Все символы, поддерживаемые Unicode, сгруппированы в разделы, называемыескрипты.

Для каждого набора символов существует сценарий:

• Латинский (содержит все символы ASCII + все остальные символы западного мира)
• Корейский
• Древневенгерский
• иврит
• Греческий
• Армянский
• …и так далее!

Полный список определен вСтандарт ISO 15924.

Подробнее о скриптах:https://en.wikipedia.org/wiki/Script_(Unicode)

Самолеты

Помимо скриптов, есть еще один способ организации символов Unicode:самолеты.

Вместо того, чтобы группировать их по типу, он проверяет значение кодовой точки:

Всего 17 самолетов.

Первый особенный, он называетсяБазовая многоязычная плоскость, или жеBMP, и содержит большинство современных знаков и символов из латинского, кириллического и греческого шрифтов.

Остальные 16 самолетов называютсяастральные планы. Стоит отметить, что самолеты с 3 по 13 в настоящее время пустуют.

Кодовые точки, содержащиеся в астральных планах, называютсяастральные кодовые точки.

Все точки астрального кода выше, чемU+10000.

Единицы кода

Кодовые точки хранятся внутри каккодовые единицы. Единица кода - это битовое представление символа, длина которого зависит от кодировки символа.

UTF-32 использует 32-битную кодовую единицу.

UTF-8 использует 8-битную кодовую единицу, а UTF-16 использует 16-битную кодовую единицу. Если для кодовой точки требуется больший размер, она будет представлена двумя (или более в UTF-8) кодовыми единицами.

Графемы

Графема - это символ, который представляет собой единицу системы письма. Это в основномтвоя идеяперсонажа и как он должен выглядеть.

Глифы

Глиф - это графическое представление графемы: то, как она визуально отображается на экране, фактический вид на дисплее.

Последовательности

Юникод позволяет комбинировать разные символы для формирования графемы.

Например, это случай с диакритическими знаками: букваéможно выразить комбинацией буквe(U+0065) и символ Юникода с именем «КОМБИНИРОВАНИЕ ОСТРЫХ АКЦЕНТОВ» (U+0301):

"U+0065U+0301" ➡️ "é"

U+0301в данном случае это то, что описывается какобъединяющий знак, один символ, который применяется к предыдущему, чтобы сформировать другую графему.

Нормализация

Иногда символы могут быть представлены с использованием различных комбинаций кодовых точек.

Например, это случай с диакритическими знаками: букваéможно выразить какU+00E9а также как комбинированиеe(U+0065) и символ Юникода с именем «КОМБИНИРОВАНИЕ ОСТРЫХ АКЦЕНТОВ» (U+0301):

U+00E9       ➡️ "é"
U+0065U+0301 ➡️ "é"

Процесс нормализации анализирует строку на предмет неоднозначности такого рода и генерирует строку с каноническим представлением любого символа.

Без нормализации абсолютно одинаковые для глаза строки будут считаться разными, потому что их внутреннее представление изменится:

Смайлики

Emojis - это символы астрального плана Unicode, и они позволяют отображать изображения на экране, не имея реальных изображений, а только глифы шрифта.

Например, символ 🐶 кодируется какU+1F436.

Первые 128 символов

Первые 128 символов Unicode совпадают с набором символов ASCII.

Первые 32 символа,U+0000-U+001F(0-31) называютсяКоды управления.

Они унаследовали от прошлого, и большинство из них уже устарели. Они использовались для телетайпов, которые существовали до факсов.

Символы от U + 0020 (32) до U + 007E (126) содержат цифры, буквы и некоторые символы:

• Цифры идут отU+0030кU+0039
• Заглавные буквы идут отU+0041кU+005A
• Строчные буквы идут отU+0061кU+007A

U + 007F (127) - символ удаления.

Все, что происходит в будущем, выходит за рамки ASCII и является исключительно частью Unicode.

Вы можете найти весь список в Википедии:https://en.wikipedia.org/wiki/List_of_Unicode_characters

Кодировки Unicode

UTF-8

UTF-8 - это кодировка символов переменной ширины, и он может кодировать каждый символ, охватываемый Unicode, используя от 1 до 4 8-битных байтов.

Первоначально он был разработан Кеном Томпсоном и Робом Пайком в 1992 году. Эти имена знакомы тем, кто хоть сколько-нибудь интересуется языком программирования Go, поскольку они также были двумя из первых создателей этого языка.

W3C рекомендует использовать ее в качестве кодировки по умолчанию в файлах HTML, а статистика показывает, что она используется на 91,3% всех веб-страниц по состоянию на апрель 2018 года.

На момент своего появления ASCII была самой популярной кодировкой символов в западном мире. В ASCII всем буквам, цифрам и символам был присвоен номер, и это число. Будучи установленным на 8 бит, он мог представлять не более 255 символов, и этого было достаточно.

UTF-8 был разработан для обратной совместимости с ASCII. Это было очень важно для его принятия, поскольку ASCII был намного старше (1963 г.) и широко распространен, а переход на UTF-8 произошел почти прозрачно.

Первые 128 символов UTF-8 точно соответствуют ASCII. Почему 128? Потому что ASCII использует 7-битную кодировку, которая допускает до 128 комбинаций. Почему 7 бит? Сейчас мы принимаем 8 бит как должное, но в те дни, когда был задуман ASCII, были популярны и 7-битные системы.

100% совместимость с ASCII делает UTF-8 очень эффективным, потому что наиболее часто используемые символы в западных языках кодируются только 1 байтом.

Вот карта использования байтов:

Помните, что в ASCII символы были закодированы как числа? Если письмоAв ASCII был представлен числом65, используя UTF-8, он закодирован какU+0041.

Почему нетU+0065ты спрашиваешь? Потому что в юникоде используется шестнадцатеричное основание, а вместо10у вас естьU+000Aи так далее (в основном у вас есть набор из 16 цифр вместо 10)

Взгляни наэто видео, который блестяще объясняет совместимость UTF-8 и ASCII.

UTF-16

UTF-16 - еще одна очень популярная кодировка Unicode. Например, так Java внутренне представляет любой символ. Это такжеодна из двух кодировок, используемых JavaScript для внутренних целей, вместе сUCS-2. Он также используется многими другими системами, такими как Windows.

UTF-16 - это система кодирования переменной длины, такая как UTF-8, но использует 2 байта (16 бит) как минимум для любого символьного представления. Таким образом, он обратно несовместим со стандартом ASCII.

Кодовые точки в базовой многоязычной плоскости (BMP) хранятся в 2 байтах. Кодовые точки вастральные планыхранятся в 4 байтах.

UTF-32

UTF-8 использует минимум 1 байт, UTF-16 использует минимум 2 байта.

UTF-32 всегда использует 4 байта без оптимизации использования пространства и, как таковой, расходует много пропускной способности.

Это ограничение ускоряет работу, потому что вам нужно меньше проверять, поскольку вы можете принять 4 байта для всех символов.

Он не так популярен, как UTF-8 и UTF-16, но у него есть свои приложения.

Больше руководств по js:

• Чего следует избегать в JavaScript (плохие части)
• Отсрочки и обещания в JavaScript (+ пример Ember.js)
• Как загрузить файлы на сервер с помощью JavaScript
• Стиль кодирования JavaScript
• Введение в массивы JavaScript
• Введение в язык программирования JavaScript
• Полное руководство по ECMAScript 2015-2019
• Понимание обещаний JavaScript
• Лексическая структура JavaScript
• Типы JavaScript
• Переменные JavaScript
• Список примеров идей веб-приложений
• Введение в функциональное программирование с помощью JavaScript
• Современный асинхронный JavaScript с Async и Await
• Циклы и область действия JavaScript
• Структура данных JavaScript карты
• Заданная структура данных JavaScript
• Руководство по шаблонным литералам JavaScript
• Дорожная карта для изучения JavaScript
• Выражения JavaScript
• Откройте для себя таймеры JavaScript
• Объяснение событий JavaScript
• Циклы JavaScript
• Пишите циклы JavaScript, используя map, filter, reduce и find
• Цикл событий JavaScript
• Функции JavaScript
• Глоссарий JavaScript
• Замыкания JavaScript объяснены
• Учебник по функциям стрелок в JavaScript
• Руководство по регулярным выражениям JavaScript
• Как проверить, содержит ли строка подстроку в JavaScript
• Как удалить элемент из массива в JavaScript
• Как глубоко клонировать объект JavaScript
• Introduction to Unicode and UTF-8
• Юникод в JavaScript
• Как ввести первую букву строки в верхний регистр в JavaScript
• Как отформатировать число как денежное значение в JavaScript
• Как преобразовать строку в число в JavaScript
• это в JavaScript
• Как получить текущую метку времени в JavaScript
• Строгий режим JavaScript
• Выражения функции немедленного вызова JavaScript (IIFE)
• Как перенаправить на другую веб-страницу с помощью JavaScript
• Как удалить свойство из объекта JavaScript
• Как добавить элемент в массив в JavaScript
• Как проверить, не определено ли свойство объекта JavaScript
• Введение в модули ES
• Введение в CommonJS
• Асинхронное программирование и обратные вызовы JavaScript
• Как заменить все вхождения строки в JavaScript
• Краткое справочное руководство по современному синтаксису JavaScript
• Как обрезать ведущий ноль в числе в JavaScript
• Как проверить объект JavaScript
• Полное руководство по датам JavaScript
• Учебник Moment.js
• Точка с запятой в JavaScript
• Арифметические операторы JavaScript
• Объект JavaScript Math
• Создавайте случайные и уникальные строки в JavaScript
• Как заставить ваши функции JavaScript спать
• Прототипное наследование JavaScript
• Исключения JavaScript
• Как использовать классы JavaScript
• Поваренная книга JavaScript
• Цитаты в JavaScript
• Как проверить адрес электронной почты в JavaScript
• Как получить уникальные свойства набора объектов в массиве JavaScript
• Как проверить, начинается ли строка с другой в JavaScript
• Как создать многострочную строку в JavaScript
• Руководство по ES6
• Как получить текущий URL в JavaScript
• Руководство ES2016
• Как инициализировать новый массив значениями в JavaScript
• Руководство ES2017
• Руководство ES2018
• Как использовать Async и Await с Array.prototype.map ()
• Асинхронный и синхронный код
• Как сгенерировать случайное число между двумя числами в JavaScript
• Учебное пособие по HTML Canvas API
• Как получить индекс итерации в цикле for-of в JavaScript
• Что такое одностраничное приложение?
• Введение в WebAssembly
• Введение в JSON
• Руководство по JSONP
• Should you use or learn jQuery in 2020?
• Как скрыть элемент DOM с помощью простого JavaScript
• Как объединить два объекта в JavaScript
• Как очистить массив JavaScript
• Как закодировать URL-адрес с помощью JavaScript
• Как установить значения параметров по умолчанию в JavaScript
• Как отсортировать массив объектов по значению свойства в JavaScript
• Как подсчитать количество свойств в объекте JavaScript
• call () и apply () в JavaScript
• Введение в PeerJS, библиотеку WebRTC
• Работа с объектами и массивами с помощью Rest и Spread
• Разрушение объектов и массивов в JavaScript
• Полное руководство по отладке JavaScript
• Руководство по TypeScript
• Динамически выбирать метод объекта в JavaScript
• Передача undefined в JavaScript с немедленным вызовом функциональных выражений
• Свободно типизированные языки против строго типизированных языков
• Как стилизовать элементы DOM с помощью JavaScript
• Трансляция в JavaScript
• Руководство по генераторам JavaScript
• Размер папки node_modules не является проблемой. Это привилегия
• Как решить непредвиденную ошибку идентификатора при импорте модулей в JavaScript
• Как перечислить все методы объекта в JavaScript
• Метод String replace ()
• Метод String search ()
• Как я запускаю небольшие фрагменты кода JavaScript
• Руководство ES2019
• Метод String charAt ()
• Метод String charCodeAt ()
• Метод String codePointAt ()
• Метод String concat ()
• Метод String EndWith ()
• Метод String includes ()
• Метод String indexOf ()
• Метод String lastIndexOf ()
• Метод String localeCompare ()
• Метод String match ()
• Метод String normalize ()
• Метод String padEnd ()
• Метод String padStart ()
• Метод String repeat ()
• Метод String slice ()
• Метод String split ()
• Метод String startWith ()
• Метод String substring ()
• Метод String toLocaleLowerCase ()
• Метод String toLocaleUpperCase ()
• Метод String toLowerCase ()
• Метод String toString ()
• Метод String toUpperCase ()
• Метод String trim ()
• Метод String trimEnd ()
• Метод String trimStart ()
• Мемоизация в JavaScript
• Метод String valueOf ()
• Ссылка на JavaScript: Строка
• Метод Number isInteger ()
• Метод Number isNaN ()
• Метод Number isSafeInteger ()
• Метод Number parseFloat ()
• Метод Number parseInt ()
• Метод Number toString ()
• Метод Number valueOf ()
• Метод Number toPrecision ()
• Метод Number toExponential ()
• Метод Number toLocaleString ()
• Метод Number toFixed ()
• Метод Number isFinite ()
• Ссылка на JavaScript: номер
• Дескрипторы свойств JavaScript
• Метод Object assign ()
• Метод Object create ()
• Метод Object defineProperties ()
• Метод Object defineProperty ()
• Метод записи объекта ()
• Метод Object freeze ()
• Метод Object getOwnPropertyDescriptor ()
• Метод Object getOwnPropertyDescriptors ()
• Метод Object getOwnPropertyNames ()
• Метод Object getOwnPropertySymbols ()
• Метод Object getPrototypeOf ()
• Метод Object is ()
• Метод Object isExtensible ()
• Метод Object isFrozen ()
• Метод Object isSealed ()
• Метод Object keys ()
• Метод Object preventExtensions ()
• Метод Object seal ()
• Метод Object setPrototypeOf ()
• Метод значений объекта ()
• Метод Object hasOwnProperty ()
• Метод Object isPrototypeOf ()
• Метод Object propertyIsEnumerable ()
• Метод Object toLocaleString ()
• Метод Object toString ()
• Метод Object valueOf ()
• Справка по JavaScript: объект
• Оператор присваивания JavaScript
• Интернационализация JavaScript
• Оператор типа JavaScript
• Новый оператор JavaScript
• Операторы сравнения JavaScript
• Правила приоритета операторов JavaScript
• Оператор instanceof в JavaScript
• Заявления JavaScript
• Область действия JavaScript
• Преобразования типов JavaScript (приведение)
• Операторы равенства JavaScript
• Условное выражение if / else в JavaScript
• Условное переключение JavaScript
• Оператор удаления JavaScript
• Параметры функции JavaScript
• Оператор распространения JavaScript
• Возвращаемые значения JavaScript
• Логические операторы JavaScript
• Тернарный оператор JavaScript
• Рекурсия JavaScript
• Свойства объекта JavaScript
• Объекты ошибок JavaScript
• Глобальный объект JavaScript
• Функция JavaScript filter ()
• Функция JavaScript map ()
• Функция JavaScript reduce ()
• Оператор `in` в JavaScript
• Операторы JavaScript
• Как получить значение свойства CSS в JavaScript
• Как добавить прослушиватель событий к нескольким элементам в JavaScript
• Поля частного класса JavaScript
• Как отсортировать массив по значению даты в JavaScript
• Поля открытого класса JavaScript
• Символы JavaScript
• Как использовать библиотеку JavaScript bcrypt
• Как переименовывать поля при деструктуризации объекта
• Как проверять типы в JavaScript без использования TypeScript
• Как проверить, содержит ли массив JavaScript определенное значение
• При чем тут оператор двойного отрицания !! делать в JavaScript?
• Какой оператор равенства следует использовать при сравнении JavaScript? == против ===
• Стоит ли изучать JavaScript?
• Как вернуть результат асинхронной функции в JavaScript
• Как проверить, пустой ли объект в JavaScript
• Как выйти из цикла for в JavaScript
• Как добавить элемент в массив по определенному индексу в JavaScript
• Почему не следует изменять прототип объекта JavaScript
• В чем разница между использованием let и var в JavaScript?
• Ссылки, используемые для активации функций JavaScript
• Как соединить две строки в JavaScript
• Как соединить два массива в JavaScript
• Как проверить, является ли значение JavaScript массивом?
• Как получить последний элемент массива в JavaScript?
• Как отправить urlencoded данные с помощью Axios
• Как получить дату завтрашнего дня с помощью JavaScript
• Как получить вчерашнюю дату с помощью JavaScript
• Как получить название месяца из даты JavaScript
• Как проверить, совпадают ли две даты в один и тот же день в JavaScript
• Как проверить, относится ли дата к дню в прошлом в JavaScript
• Операторы с пометкой JavaScript
• Как дождаться выполнения 2 или более обещаний в JavaScript
• Как получить дни между двумя датами в JavaScript
• Как загрузить файл с помощью Fetch
• Как отформатировать дату в JavaScript
• Как перебирать свойства объекта в JavaScript
• Как рассчитать количество дней между двумя датами в JavaScript
• Как использовать ожидание верхнего уровня в модулях ES
• Динамический импорт JavaScript
• Необязательная цепочка JavaScript
• Как заменить пробел внутри строки в JavaScript
• Нулевое объединение JavaScript
• Как сгладить массив в JavaScript
• Это десятилетие в JavaScript
• Как отправить заголовок авторизации с помощью Axios
• Список ключевых слов и зарезервированных слов в JavaScript
• Как преобразовать массив в строку в JavaScript
• Как удалить все содержимое папок node_modules
• Как удалить дубликаты из массива JavaScript
• Let vs Const в JavaScript
• Один и тот же вызов POST API в различных библиотеках JavaScript.
• Как получить первые n элементов массива в JS
• Как разделить массив на несколько равных частей в JS
• Как замедлить цикл в JavaScript
• Как загрузить изображение на холст HTML
• Как разрезать строку на слова в JavaScript
• Как разделить массив пополам в JavaScript
• Как написать текст на холсте HTML
• Как удалить последний символ строки в JavaScript
• Как удалить первый символ строки в JavaScript
• Как исправить ошибку TypeError: невозможно назначить только для чтения свойство «exports» объекта «# & lt; Object & gt;» ошибка
• Как создать всплывающее окно с намерением выхода
• Как проверить, является ли элемент потомком другого
• Как принудительно вводить учетные данные для каждого запроса Axios
• Как устранить ошибку "не функция" в JavaScript
• Гэтсби, как изменить фавикон
• Загрузка внешнего файла JS с помощью Gatsby
• Как определить темный режим с помощью JavaScript
• Посылка, как исправить ошибку `регенераторВремя выполнения не определено`
• Как определить, используется ли блокировщик рекламы с JavaScript
• Деструктуризация объектов с типами в TypeScript
• Справочник Deno: краткое введение в Deno 🦕
• Как получить последний сегмент пути или URL-адреса с помощью JavaScript
• Как перемешать элементы в массиве JavaScript
• Как проверить, существует ли ключ в объекте JavaScript
• Возбуждение событий и захват событий
• event.stopPropagation против event.preventDefault () против return false в событиях DOM
• Примитивные типы и объекты в JavaScript
• Как узнать, к какому типу относится значение в JavaScript?
• Как вернуть несколько значений из функции в JavaScript
• Стрелочные функции и обычные функции в JavaScript
• Как мы можем получить доступ к значению свойства объекта?
• В чем разница между null и undefined в JavaScript?
• В чем разница между методом и функцией?
• Как мы можем выйти из цикла в JavaScript?
• Цикл for..of в JavaScript
• Что такое деструктуризация объектов в JavaScript?
• Что такое подъем в JavaScript?
• Как заменить запятые на точки с помощью JavaScript
• Важность тайминга при работе с DOM
• Как перевернуть массив JavaScript
• Как проверить, является ли значение числом в JavaScript
• Как принять неограниченное количество параметров в функции JavaScript
• Объекты прокси JavaScript
• Делегирование событий в браузере с использованием ванильного JavaScript
• Ключевое слово JavaScript super
• Введение в XState
• Значения передаются по ссылке или по значению в JavaScript?
• Пользовательские события в JavaScript
• Пользовательские ошибки в JavaScript
• Пространства имен в JavaScript
• Любопытное использование запятых в JavaScript
• Цепочка вызовов методов в JavaScript
• Как справиться с отклонением обещаний
• Как поменять местами два элемента массива в JavaScript
• Как я исправил ошибку "cb.apply is not a function" при использовании Gitbook
• Как добавить элемент в начало массива в JavaScript
• Гэтсби, исправьте ошибку "не удается найти модуль gatsby-cli / lib / reporter"
• Как получить индекс элемента в массиве JavaScript
• Как проверить пустой объект в JavaScript
• Как деструктурировать объект до существующих переменных в JavaScript
• Структура данных JavaScript в виде массива
• Структура данных Stack JavaScript
• Структуры данных JavaScript: очередь
• Структуры данных JavaScript: Установить
• Структуры данных JavaScript: словари
• Структуры данных JavaScript: связанные списки
• JavaScript, как экспортировать функцию
• JavaScript, как экспортировать несколько функций
• JavaScript, как выйти из функции
• JavaScript, как найти символ в строке
• JavaScript, как фильтровать массив
• JavaScript, как расширить класс
• JavaScript, как найти дубликаты в массиве
• JavaScript, как заменить элемент массива
• Алгоритмы JavaScript: линейный поиск
• Алгоритмы JavaScript: двоичный поиск
• Алгоритмы JavaScript: сортировка выбора
• Алгоритмы JavaScript: быстрая сортировка
• Алгоритмы JavaScript: сортировка слиянием
• Алгоритмы JavaScript: пузырьковая сортировка