Модуль:Unicode data/пісочниця

Ця сторінка — пісочниця для модуля Модуль:Unicode data (різн.).
Див. також супутню сторінку для тестів.

Документація модуля[перегляд] [редагувати] [історія] [очистити кеш]

1 з 109 тестів не пройшов.

testcases for `get_best_script`

testcases for `get_best_script`
	Текст	Очікуваний	Фактичний
Так	%!?́: Zyyy (3), Zinh (1)	nil	nil
Так	’ʼ“”†‡•‰′‽⁕ • Zyyy (11)	nil	nil
Так	col·legi: Latn (7), Zyyy (1)	Latn	Latn
HTML character references
Так	𐘀: Lina (1)	Lina	Lina
Так	𐘀 • Zyyy (8), Latn (1)	Lina	Lina
Так	– • Zyyy (1)	nil	nil
Так	– • Latn (5), Zyyy (2)	nil	nil
Halkomelem
Так	lá:yelhp: Latn (7), Zyyy (1)	Latn	Latn
Так	xʷməθkʷəy̓əm: Latn (10), Grek (1), Zinh (1)	nil	nil
Так	hən̓q̓əmin̓əm̓: Latn (10), Zinh (4)	Latn	Latn
Quotes
Так	Tant’è amara che poco è più morte; ma per trattar del ben ch’i’ vi trovai, dirò de l’altre cose ch’i’ v’ ho scorte. • Latn (83), Zyyy (32)	Latn	Latn
Так	Díí Késhmish biyiʼ yáʼąąshdę́ę́ʼ ląʼígóó bee nikʼihojidlíi dooleeł. Niheechʼínáánáháhígíí biyiʼ iłhodeezyéél, iłhózhǫ́, ayóóʼóʼóʼní bee nikʼihojidlíi dooleeł. Tʼáá sahdiigiʼ átʼéego baa hózhǫ́ǫgo nihił hanááhoolzhiizhígí biyiʼ tʼáá ałtsojįʼ iłhózhǫ́ nííʼ dooleeł. • Latn (207), Zyyy (52), Zinh (5)	Latn	Latn
Так	Μῆνῐν ᾰ̓́ειδε, θεᾱ́, Πηληῐ̈ᾰ́δεω Ᾰ̓χῐλῆος οὐλομένην, ἣ μῡρῐ́᾽ Ᾰ̓χαιοῖς ᾰ̓́λγε᾽ ἔθηκε, πολλᾱ̀ς δ᾽ ῐ̓φθῑ́μους ψῡχᾱ̀ς Ἄῐ̈δῐ προῐ̈́ᾰψεν ἡρώων, αὐτοὺς δὲ ἑλώρῐᾰ τεῦχε κῠ́νεσσιν οἰωνοῖσῐ́ τε πᾶσῐ· Δῐὸς δ᾽ ἐτελείετο βουλή· • Grek (160), Zyyy (36), Zinh (19)	Grek	Grek
Так	Вот если вы не согласитесь с этим последним тезисом и ответите: «Не так» или «не всегда так», то я, пожалуй, и ободрюсь духом насчет значения героя моего Алексея Федоровича. Ибо не только чудак «не всегда» частность и обособление, а напротив, бывает так, что он-то, пожалуй, и носит в себе иной раз сердцевину целого, а остальные люди его эпохи — все, каким-нибудь наплывным ветром, на время почему-то от него оторвались… • Cyrl (329), Zyyy (93)	Cyrl	Cyrl
Так	ॐ अग्निमीळे पुरोहितं यज्ञस्य देवमृत्विजम् । होतारं रत्नधातमम् ॥१॥ अग्निः पूर्वेभिरृषिभिरीड्यो नूतनैरुत । स देवाँ एह वक्षति ॥२॥ अग्निना रयिमश्नवत् पोषमेव दिवेदिवे । यशसं वीरवत्तमम् ॥३॥ अग्ने यं यज्ञमध्वरं विश्वतः परिभूरसि । स इद्देवेषु गच्छति ॥४॥ अग्निर्होता कविक्रतुः सत्यश्चित्रश्रवस्तमः । देवो देवेभिरा गमत् ॥५॥ यदङ्ग दाशुषे त्वमग्ने भद्रं करिष्यसि । तवेत् तत् सत्यमङ्गिरः ॥६॥ उप त्वाग्ने दिवेदिवे दोषावस्तर्धिया वयम् । नमो भरन्त एमसि ॥७॥ राजन्तमध्वराणां गोपामृतस्य दीदिविम् । वर्धमानं स्वे दमे ॥८॥ स नः पितेव सूनवेऽग्ने सूपायनो भव । सचस्वा नः स्वस्तये ॥९॥ • Deva (449), Zyyy (109)	Deva	Deva

testcases for `is_Latin`

testcases for `is_Latin`
	Текст	Очікуваний	Фактичний
Так	%!?́: Zyyy (3), Zinh (1)	false	false
Так	’ʼ“”†‡•‰′‽⁕ • Zyyy (11)	false	false
Так	col·legi: Latn (7), Zyyy (1)	true	true
HTML character references
Так	𐘀: Lina (1)	false	false
Так	𐘀 • Zyyy (8), Latn (1)	false	false
Так	– • Zyyy (1)	false	false
Так	– • Latn (5), Zyyy (2)	false	false
Halkomelem
Так	lá:yelhp: Latn (7), Zyyy (1)	true	true
Так	xʷməθkʷəy̓əm: Latn (10), Grek (1), Zinh (1)	false	false
Так	hən̓q̓əmin̓əm̓: Latn (10), Zinh (4)	true	true
Quotes
Так	Tant’è amara che poco è più morte; ma per trattar del ben ch’i’ vi trovai, dirò de l’altre cose ch’i’ v’ ho scorte. • Latn (83), Zyyy (32)	true	true
Так	Díí Késhmish biyiʼ yáʼąąshdę́ę́ʼ ląʼígóó bee nikʼihojidlíi dooleeł. Niheechʼínáánáháhígíí biyiʼ iłhodeezyéél, iłhózhǫ́, ayóóʼóʼóʼní bee nikʼihojidlíi dooleeł. Tʼáá sahdiigiʼ átʼéego baa hózhǫ́ǫgo nihił hanááhoolzhiizhígí biyiʼ tʼáá ałtsojįʼ iłhózhǫ́ nííʼ dooleeł. • Latn (207), Zyyy (52), Zinh (5)	true	true
Так	Μῆνῐν ᾰ̓́ειδε, θεᾱ́, Πηληῐ̈ᾰ́δεω Ᾰ̓χῐλῆος οὐλομένην, ἣ μῡρῐ́᾽ Ᾰ̓χαιοῖς ᾰ̓́λγε᾽ ἔθηκε, πολλᾱ̀ς δ᾽ ῐ̓φθῑ́μους ψῡχᾱ̀ς Ἄῐ̈δῐ προῐ̈́ᾰψεν ἡρώων, αὐτοὺς δὲ ἑλώρῐᾰ τεῦχε κῠ́νεσσιν οἰωνοῖσῐ́ τε πᾶσῐ· Δῐὸς δ᾽ ἐτελείετο βουλή· • Grek (160), Zyyy (36), Zinh (19)	false	false
Так	Вот если вы не согласитесь с этим последним тезисом и ответите: «Не так» или «не всегда так», то я, пожалуй, и ободрюсь духом насчет значения героя моего Алексея Федоровича. Ибо не только чудак «не всегда» частность и обособление, а напротив, бывает так, что он-то, пожалуй, и носит в себе иной раз сердцевину целого, а остальные люди его эпохи — все, каким-нибудь наплывным ветром, на время почему-то от него оторвались… • Cyrl (329), Zyyy (93)	false	false
Так	ॐ अग्निमीळे पुरोहितं यज्ञस्य देवमृत्विजम् । होतारं रत्नधातमम् ॥१॥ अग्निः पूर्वेभिरृषिभिरीड्यो नूतनैरुत । स देवाँ एह वक्षति ॥२॥ अग्निना रयिमश्नवत् पोषमेव दिवेदिवे । यशसं वीरवत्तमम् ॥३॥ अग्ने यं यज्ञमध्वरं विश्वतः परिभूरसि । स इद्देवेषु गच्छति ॥४॥ अग्निर्होता कविक्रतुः सत्यश्चित्रश्रवस्तमः । देवो देवेभिरा गमत् ॥५॥ यदङ्ग दाशुषे त्वमग्ने भद्रं करिष्यसि । तवेत् तत् सत्यमङ्गिरः ॥६॥ उप त्वाग्ने दिवेदिवे दोषावस्तर्धिया वयम् । नमो भरन्त एमसि ॥७॥ राजन्तमध्वराणां गोपामृतस्य दीदिविम् । वर्धमानं स्वे दमे ॥८॥ स नः पितेव सूनवेऽग्ने सूपायनो भव । सचस्वा नः स्वस्तये ॥९॥ • Deva (449), Zyyy (109)	false	false

testcases for `is_combining`

testcases for `is_combining`
	Текст	Очікуваний	Фактичний
Так	U+0300: ◌̀ (COMBINING GRAVE ACCENT)	true	true
Так	U+0060: ` (GRAVE ACCENT)	false	false

testcases for `is_default_ignorable`

testcases for `is_default_ignorable`
	Текст	Очікуваний	Фактичний

testcases for `is_rtl`

testcases for `is_rtl`
	Текст	Очікуваний	Фактичний
Так	أبو عبد الله محمد بن عبد الله اللواتي الطنجي بن بطوطة	true	true
Так	أدب القاضي Adab al-qādī	false	false
Так	ܛܘܼܒܲܝܗܘܿܢ ܠܐܲܝܠܹܝܢ ܕܲܕ݂ܟܹܝܢ ܒܠܸܒ̇ܗܘܿܢ܄ ܕܗܸܢ݂ܘܿܢ ܢܸܚܙܘܿܢ ܠܐܲܠܵܗܵܐ܂‬	true	true
Так	בְּרֵאשִׁית, בָּרָא אֱלֹהִים, אֵת הַשָּׁמַיִם, וְאֵת הָאָרֶץ.	true	true
Так	𞤀𞤣𞤤𞤢𞤥 𞤆𞤵𞤤𞤢𞤪	true	true
Так	𐬬𐬍𐬯𐬞𐬈 ⸱ 𐬰𐬍 ⸱ 𐬀𐬥𐬌𐬌𐬉 ⸱ 𐬨𐬀𐬜𐬃𐬢𐬵𐬋 ⸱ 𐬀𐬉𐬴𐬨𐬀 ⸱ 𐬵𐬀𐬗𐬌𐬧𐬙𐬈 ⸱ 𐬑𐬭𐬎𐬎𐬍𐬨 ⸱ 𐬛𐬭𐬎𐬎𐬋 ⸱ 𐬁𐬀𐬝 ⸱ 𐬵𐬋 ⸱ 𐬫𐬋 ⸱ 𐬵𐬀𐬊𐬨𐬀𐬵𐬈 ⸱ 𐬨𐬀𐬜𐬋 ⸱ 𐬀𐬴𐬀 ⸱ 𐬵𐬀𐬗𐬀𐬌𐬙𐬈	true	true
Так	ދިވެހި	true	true
Так	𐤀𐤓𐤍𐤟𐤆𐤐𐤏𐤋𐤟𐤀𐤕𐤁𐤏𐤋𐤟𐤁𐤍𐤀𐤇𐤓𐤌𐤟𐤌𐤋𐤊𐤂𐤁𐤋𐤟𐤋𐤀𐤇𐤓𐤌𐤟𐤀𐤁𐤄	true	true
Так	ࡌࡀࡍࡃࡀ ࡖࡄࡉࡉࡀ	true	true
Так	ࠄࠟࠓࠂࠝࠓࠜࠉࠆࠜࠉࠌ	true	true
Так	%$!^&	false	false

testcases for `lookup_age`

testcases for `lookup_age`
	Текст	Очікуваний	Фактичний

testcases for `lookup_block`

testcases for `lookup_block`
	Текст	Очікуваний	Фактичний
Так	U+0064: d	Basic Latin	Basic Latin
Так	U+030B: ◌̋	Combining Diacritical Marks	Combining Diacritical Marks
Так	U+03A3: Σ	Greek and Coptic	Greek and Coptic
Так	U+0411: Б	Cyrillic	Cyrillic
Так	U+10E6: ღ	Georgian	Georgian
Так	U+3175: ㅵ	Hangul Compatibility Jamo	Hangul Compatibility Jamo
Так	U+AC01: 각	Hangul Syllables	Hangul Syllables
Так	U+4E0A: 上	CJK Unified Ideographs	CJK Unified Ideographs
Так	U+1F608: 😈	Emoticons	Emoticons
Так	U+30000: 𰀀	CJK Unified Ideographs Extension G	CJK Unified Ideographs Extension G
Так	U+10FFFF	Supplementary Private Use Area-B	Supplementary Private Use Area-B

testcases for `lookup_category`

testcases for `lookup_category`
	Текст	Очікуваний	Фактичний
Так	U+0009 (<control-0009>)	Cc	Cc
Так	U+0020: (SPACE)	Zs	Zs
Так	U+005B: [ (LEFT SQUARE BRACKET)	Ps	Ps
Так	U+005D: ] (RIGHT SQUARE BRACKET)	Pe	Pe
Так	U+005E: ^ (CIRCUMFLEX ACCENT)	Sk	Sk
Так	U+0041: A (LATIN CAPITAL LETTER A)	Lu	Lu
Так	U+00AD (SOFT HYPHEN)	Cf	Cf
Так	U+00BE: ¾ (VULGAR FRACTION THREE QUARTERS)	No	No
Так	U+00AB: « (LEFT-POINTING DOUBLE ANGLE QUOTATION MARK)	Pi	Pi
Так	U+00BB: » (RIGHT-POINTING DOUBLE ANGLE QUOTATION MARK)	Pf	Pf
Так	U+0300: ◌̀ (COMBINING GRAVE ACCENT)	Mn	Mn
Так	U+0488: ҈ (COMBINING CYRILLIC HUNDRED THOUSANDS SIGN)	Me	Me
Так	U+0663: ٣ (ARABIC-INDIC DIGIT THREE)	Nd	Nd
Так	U+5B50: 子 (CJK UNIFIED IDEOGRAPH-5B50)	Lo	Lo
Так	U+1FAE: ᾮ (GREEK CAPITAL LETTER OMEGA WITH PSILI AND PERISPOMENI AND PROSGEGRAMMENI)	Lt	Lt
Так	U+1B44: ◌᭄ (BALINESE ADEG ADEG)	Mc	Mc
Так	U+2208: ∈ (ELEMENT OF)	Sm	Sm
Так	U+203F: ‿ (UNDERTIE)	Pc	Pc
Так	U+21B9: ↹ (LEFTWARDS ARROW TO BAR OVER RIGHTWARDS ARROW TO BAR)	So	So
Так	U+2E17: ⸗ (DOUBLE OBLIQUE HYPHEN)	Pd	Pd
Так	U+2167: Ⅷ (ROMAN NUMERAL EIGHT)	Nl	Nl
Так	U+2028 (LINE SEPARATOR)	Zl	Zl
Так	U+2029 (PARAGRAPH SEPARATOR)	Zp	Zp
Так	U+309E: ゞ (HIRAGANA VOICED ITERATION MARK)	Lm	Lm
Так	U+D800 (<surrogate-D800>)	Cs	Cs
Так	U+FFE1: ￡ (FULLWIDTH POUND SIGN)	Sc	Sc
Ні	U+FFFF (<noncharacter-FFFF>)	Cn	nil
Так	U+100000 (<private-use-100000>)	Co	Co

testcases for `lookup_name`

testcases for `lookup_name`
	Текст	Очікуваний	Фактичний
Так	U+0000	<control-0000>	<control-0000>
Так	U+007F	<control-007F>	<control-007F>
Так	U+00C1: Á	LATIN CAPITAL LETTER A WITH ACUTE	LATIN CAPITAL LETTER A WITH ACUTE
Так	U+0300: ◌̀	COMBINING GRAVE ACCENT	COMBINING GRAVE ACCENT
Так	U+0378	<reserved-0378>	<reserved-0378>
Так	U+1B44: ◌᭄	BALINESE ADEG ADEG	BALINESE ADEG ADEG
Так	U+1F71: ά	GREEK SMALL LETTER ALPHA WITH OXIA	GREEK SMALL LETTER ALPHA WITH OXIA
Так	U+3555: 㕕	CJK UNIFIED IDEOGRAPH-3555	CJK UNIFIED IDEOGRAPH-3555
Так	U+AC01: 각	HANGUL SYLLABLE GAG	HANGUL SYLLABLE GAG
Так	U+D5FF: 헿	HANGUL SYLLABLE HEH	HANGUL SYLLABLE HEH
Так	U+DC00	<surrogate-DC00>	<surrogate-DC00>
Так	U+EEEE	<private-use-EEEE>	<private-use-EEEE>
Так	U+FDD1	<noncharacter-FDD1>	<noncharacter-FDD1>
Так	U+FFFD: �	REPLACEMENT CHARACTER	REPLACEMENT CHARACTER
Так	U+FFFF	<noncharacter-FFFF>	<noncharacter-FFFF>
Так	U+1F4A9: 💩	PILE OF POO	PILE OF POO
Так	U+2ED9D: 𮶝	CJK UNIFIED IDEOGRAPH-2ED9D	CJK UNIFIED IDEOGRAPH-2ED9D
Так	U+E0000	<reserved-E0000>	<reserved-E0000>
Так	U+F0F0F	<private-use-F0F0F>	<private-use-F0F0F>
Так	U+10FFFF	<noncharacter-10FFFF>	<noncharacter-10FFFF>

testcases for `lookup_script`

testcases for `lookup_script`
	Текст	Очікуваний	Фактичний
Так	U+0061: a (LATIN SMALL LETTER A)	Latn	Latn
Так	U+002F: / (SOLIDUS)	Zyyy	Zyyy
Так	U+0300: ◌̀ (COMBINING GRAVE ACCENT)	Zinh	Zinh
Так	U+0378 (<reserved-0378>)	Zzzz	Zzzz
Так	U+0398: Θ (GREEK CAPITAL LETTER THETA)	Grek	Grek
Так	U+03E2: Ϣ (COPTIC CAPITAL LETTER SHEI)	Copt	Copt
Так	U+2014: — (EM DASH)	Zyyy	Zyyy

Використання

Цей модуль надає функції для доступу до інформації про кодові точки Юнікоду. Інформація вилучається з модулів даних, що згенеровані з бази даних символів Юнікоду, або виводиться за правилами, наведеними у специфікації Юнікоду. Цей модуль та його підмодулі було скопійовано з українського вікісловника і потім змінено; докладнішу інформацію див. там.

Параметри та функції

code point

Кодова точка має бути введена у вигляді шістнадцяткового значення. Наприклад, U+00A9 © COPYRIGHT SIGN:

|A9_hex

|0xA9_hex

|0x00A9_hex

|0x00a9_hex

{{#invoke:Unicode data|lookup|name|0x00A9}} → COPYRIGHT SIGN

Неправильні або непередбачені результати:

169_dec: {{#invoke:Unicode data|lookup|name|169}} → LATIN SMALL LETTER U WITH TILDE

— очікується «U+00A9» ©; але прочитало як 00A9_hex (що є 361_dec)

U+00A9 {{#invoke:Unicode data|lookup|name|U+00A9}}

— не використовуйте префікс «U+»

غ {{#invoke:Unicode data|lookup|name|غ}}

— не можна ввести символ як кодову точку

Функції «lookup» та «is»

lookup, is: Функції, які можуть викликатися з шаблону та дозволяють отримувати доступ до функцій, що починаються з lookup та is. Для більшості функції додайте кодову точку з шістнадцятковою основою як наступний параметр. Для is"|Latin, is"|Cyrillic, is|rtl і is|valid_pagename додайте символьний рядок. Кодування символів у HTML в тексті декодуються модулем в кодові точки.; Наприклад, {{#invoke:Unicode data|is|Latin|àzàhàr̃iyyā̀}} → true.

Внутрішньо, в модулі, ці функції іменовані з використанням нижнього підкреслення: lookup_name|code point ← lookup_name

Огляд функцій

Кодові точки: введіть шістнадцяткове значення, наприклад |0x0061 або |61; але не |U+0061.

Тема	Функція	Туп параметра (string=за символом/-ами; c.p. за значенням 0xHex)	Приклад	Повертає	Символ
Назва символа Unicode	`\|lookup\|name`	code point	`{{#invoke:Unicode data\|lookup\|name\|0xA9}}` `{{#invoke:Unicode data\|lookup\|name\|0x0007}}`	COPYRIGHT SIGN <control-0007>	©
Scripts	`\|lookup\|script`	code point	`{{#invoke:Unicode data\|lookup\|script\|A061}}`	Yiii	ꁡ
Blocks	`\|lookup\|block`	code point	`{{#invoke:Unicode data\|lookup\|block\|A061}}`	Yi Syllables	ꁡ
Багатомовна площина	`\|lookup\|plane`	code point	`{{#invoke:Unicode data\|lookup\|plane\|0xA9}}` `{{#invoke:Unicode data\|lookup\|plane\|0x1F608}}`	Basic Multilingual Plane Supplementary Multilingual Plane	© 😈
General Category	`\|lookup\|category`	code point	`{{#invoke:Unicode data\|lookup\|category\|0xA9}}` `{{#invoke:Unicode data\|lookup\|category\|0x002B}}`	So Sm	© +
Controls	`\|is\|control`	code point	`{{#invoke:Unicode data\|lookup\|control\|A9}}` `{{#invoke:Unicode data\|lookup\|control\|FFFF}}`	assigned unassigned	©
Латиниця	`\|is\|Latin`	string	`{{#invoke:Unicode data\|is\|Latin\|abcŁíā̀}}` `{{#invoke:Unicode data\|is\|Latin\|abc文xyz}}`	true false
Кирилиця	`\|is\|Cyrillic`	string	`{{#invoke:Unicode data\|is\|Cyrillic\|абв}}` `{{#invoke:Unicode data\|is\|Cyrillic\|абв文ьюя}}`	true false
ВП:Іменування статей (WP:NCTR)	`\|is\|valid_pagename`	string	`{{#invoke:Unicode data\|is\|valid_pagename\|Main_page}}` `{{#invoke:Unicode data\|is\|valid_pagename\|# (disambiguation)}}`	true false
Bidirectionality, right-to-left scripts	`\|is\|rtl`	string	`{{#invoke:Unicode data\|is\|rtl\|ش}}` `{{#invoke:Unicode data\|is\|rtl\|34}}`	true false	ش 4
Combining character	`\|is\|combining`	code point	`{{#invoke:Unicode data\|is\|combining\|0300}}` `{{#invoke:Unicode data\|is\|combining\|64}}`	true false	̀ d
Character assignation	`\|is\|assigned`	code point	`{{#invoke:Unicode data\|is\|assigned\|A061}}` `{{#invoke:Unicode data\|is\|assigned\|FFEF}}`	true false	ꁡ ;
Printable	`\|is\|printable`	code point	`{{#invoke:Unicode data\|is\|printable\|0061}}` `{{#invoke:Unicode data\|is\|printable\|0007}}` `{{#invoke:Unicode data\|is\|printable\|FFFF}}`	>true< >false< >false<	>a< >< ><
Whitespace_character § Unicode	`\|is\|whitespace`	code point	`{{#invoke:Unicode data\|is\|whitespace\|0x20}}` `{{#invoke:Unicode data\|is\|whitespace\|0xA0}}` `{{#invoke:Unicode data\|is\|whitespace\|0x64}}`	>true< >true< NBSP >false<	> < > < >d<
Alias names	`\|aliases`		[application unknown]		&#x; &#x;
Combining class	`\|`		[application unknown]		&#x; &#x;
Age	`\|`		[application unknown]
get_best_script	`\|get_best_script`		[application unknown]

Модулі даних

Дані, що використовуються функціями цього модуля, знаходяться в підмодулях. Деякі з них генеруються скриптами AWK, показаними в Користувач:Kephir/Unicode в англійському вікісловнику, інші — скриптами Lua на підсторінках /make підмодулів.

Модуль:Unicode data/age: «Вік» символу, що є: число версії запровадження.
Модуль:Unicode data/aliases: псевдоніми офіційних назв для символів (з NameAliases.txt)
Модуль:Unicode data/blocks: список блоків Unicode (з Blocks.txt)
Модуль:Unicode data/category: дані зіставляють символи з їхніми General Category (з DerivedGeneralCategory.txt)
Модуль:Unicode data/control: дані для визначення символів, що належать до General Categories of Separator and Other (з DerivedGeneralCategory.txt)
Модуль:Unicode data/combining: дані зіставляють символи з їхніми Combining Classes (з DerivedCombiningClass.txt)
Модуль:Unicode data/Hangul: дата, яка використовується, щоб створювати назви складів хангилю (з Jamo.txt)
Модуль:Unicode data/scripts: дані зіставляють символи з їхніми властивостями письма Unicode (з Scripts.txt).

Авторське право

База даних Unicode випускається компанією Unicode Inc. на таких умовах:

Copyright © 1991-2022 Unicode, Inc. All rights reserved. Distributed under the Terms of Use in https://www.unicode.org/copyright.html.
Permission is hereby granted, free of charge, to any person obtaining a copy of the Unicode data files and any associated documentation (the "Data Files") or Unicode software and any associated documentation (the "Software") to deal in the Data Files or Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, and/or sell copies of the Data Files or Software, and to permit persons to whom the Data Files or Software are furnished to do so, provided that either (a) this copyright and permission notice appear with all copies of the Data Files or Software, or (b) this copyright and permission notice appear in associated Documentation.
THE DATA FILES AND SOFTWARE ARE PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT OF THIRD PARTY RIGHTS. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR HOLDERS INCLUDED IN THIS NOTICE BE LIABLE FOR ANY CLAIM, OR ANY SPECIAL INDIRECT OR CONSEQUENTIAL DAMAGES, OR ANY DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THE DATA FILES OR SOFTWARE.
Except as contained in this notice, the name of a copyright holder shall not be used in advertising or otherwise to promote the sale, use or other dealings in these Data Files or Software without prior written authorization of the copyright holder.

Відомі проблеми

Читання даних типу Модуль:Unicode data/aliases не передбачено та не документовано

Документація вище включена з Модуль:Unicode data/документація. (ред. | історія)
Дописувачі можуть експериментувати на підсторінках пісочниці (ред. | різн.) та протестувати зміни (ред.) цього модуля.
Будь ласка, додавайте категорії до підсторінки /документація. Підсторінки цієї сторінки.

local p = {}

local floor = math.floor

local function errorf(level, ...)
	if type(level) == "number" then
		return error(string.format(...), level + 1)
	else -- level is actually the format string.
		return error(string.format(level, ...), 2)
	end
end

local function binary_range_search(codepoint, ranges)
	local low, mid, high
	low, high = 1, ranges.length or require "Module:TableTools".length(ranges)
	while low <= high do
		mid = floor((low + high) / 2)
		local range = ranges[mid]
		if codepoint < range[1] then
			high = mid - 1
		elseif codepoint <= range[2] then
			return range, mid
		else
			low = mid + 1
		end
	end
	return nil, mid
end
p.binary_range_search = binary_range_search

--[[
local function linear_range_search(codepoint, ranges)
	for i, range in ipairs(ranges) do
		if range[1] <= codepoint and codepoint <= range[2] then
			return range
		end
	end
end
--]]

-- Load a module by indexing "loader" with the name of the module minus the
-- "Module:Unicode data/" part. For instance, loader.blocks returns
-- [[Module:Unicode data/blocks]]. If a module cannot be loaded, false will be
-- returned.
local loader = setmetatable({}, {
	__index = function (self, key)
		local dataset_type=mw.text.split(key, "/")[1]
 		if dataset_type then
 			if
 			  dataset_type == "emoji images" or
 			  dataset_type == "images" or
 			  dataset_type == "names"
 			then
 			   local data = require("Module:Unicode_data/datasets").dataset("Unicode data/"..key..".tab")
 			   self[key] = data
 			   return data
 			end
 		end
 		
		local success, data = pcall(mw.loadData, "Module:Unicode data/" .. key)
		if not success then
			data = false
		end
		self[key] = data
		return data
	end
})

-- For the algorithm used to generate Hangul Syllable names,
-- see "Hangul Syllable Name Generation" in section 3.12 of the
-- Unicode Specification:
-- https://www.unicode.org/versions/Unicode11.0.0/ch03.pdf
-- binary_range_search assumes these are ordered by codepoint. Do not place them in a random order!
local name_hooks = {
	{     0x00,     0x1F, "<control-%04X>" }, -- C0 control characters
	{     0x7F,     0x9F, "<control-%04X>" }, -- DEL and C1 control characters
	{   0x3400,   0x4DBF, "CJK UNIFIED IDEOGRAPH-%04X" }, -- CJK Ideograph Extension A
	{   0x4E00,   0x9FFF, "CJK UNIFIED IDEOGRAPH-%04X" }, -- CJK Ideograph
	{   0xAC00,   0xD7A3, function (codepoint) -- Hangul Syllables
		local Hangul_data = loader.Hangul
		local syllable_index = codepoint - 0xAC00

		return ("HANGUL SYLLABLE %s%s%s"):format(
			Hangul_data.leads[floor(syllable_index / Hangul_data.final_count)],
			Hangul_data.vowels[floor((syllable_index % Hangul_data.final_count)
				/ Hangul_data.trail_count)],
			Hangul_data.trails[syllable_index % Hangul_data.trail_count]
		)
	end },
	-- High Surrogates, High Private Use Surrogates, Low Surrogates
	{   0xD800,   0xDFFF, "<surrogate-%04X>" },
	{   0xE000,   0xF8FF, "<private-use-%04X>" }, -- Private Use

	-- CJK Compatibility Ideographs
	{   0xF900,   0xFA6D, "CJK COMPATIBILITY IDEOGRAPH-%04X" },
	{   0xFA70,   0xFAD9, "CJK COMPATIBILITY IDEOGRAPH-%04X" },
	{   0xFE00,   0xFE0F, function (codepoint) -- Variation Selectors
		return ("VARIATION SELECTOR-%d"):format(codepoint - 0xFE00 + 1)
	end},
	{  0x13460,  0x143FA, "EGYPTIAN HIEROGLYPH-%04X" }, -- Egyptian Hieroglyphs Extended-A
	{  0x17000,  0x187FF, "TANGUT IDEOGRAPH-%04X" }, -- Tangut Ideograph
	{  0x18800,  0x18AFF, function (codepoint)
		return ("TANGUT COMPONENT-%03d"):format(codepoint - 0x187FF)
	end },
	{  0x18B00,  0x18CD5, "KHITAN SMALL SCRIPT CHARACTER-%04X" }, -- Khitan Small Script
	{  0x18CFF,  0x18CFF, "KHITAN SMALL SCRIPT CHARACTER-%04X" }, -- Khitan Small Script
	{  0x18D00,  0x18D1E, "TANGUT IDEOGRAPH-%04X" }, -- Tangut Ideograph Supplement
	{  0x18D80,  0x18DF2, function (codepoint)
		return ("TANGUT COMPONENT-%03d"):format(codepoint - 0x18A7F)
	end },
	{  0x1B170,  0x1B2FB, "NUSHU CHARACTER-%04X" }, -- Nushu
	{  0x20000,  0x2A6DF, "CJK UNIFIED IDEOGRAPH-%04X" }, -- CJK Ideograph Extension B
	{  0x2A700,  0x2B81D, "CJK UNIFIED IDEOGRAPH-%04X" }, -- CJK Ideograph Extension C, D
	{  0x2B820,  0x2CEAD, "CJK UNIFIED IDEOGRAPH-%04X" }, -- CJK Ideograph Extension E
	{  0x2CEB0,  0x2EBE0, "CJK UNIFIED IDEOGRAPH-%04X" }, -- CJK Ideograph Extension F
	{  0x2EBF0,  0x2EE5D, "CJK UNIFIED IDEOGRAPH-%04X" }, -- CJK Ideograph Extension I
	{  0x2F800,  0x2FA1D, "CJK COMPATIBILITY IDEOGRAPH-%04X" }, -- CJK Compatibility Ideographs Supplement (Supplementary Ideographic Plane)
	{  0x30000,  0x3134A, "CJK UNIFIED IDEOGRAPH-%04X" }, -- CJK Ideograph Extension G
	{  0x31350,  0x33479, "CJK UNIFIED IDEOGRAPH-%04X" }, -- CJK Ideograph Extension H, J
	{  0xE0100,  0xE01EF, function (codepoint) -- Variation Selectors Supplement
		return ("VARIATION SELECTOR-%d"):format(codepoint - 0xE0100 + 17)
	end},
	{  0xF0000,  0xFFFFD, "<private-use-%04X>" }, -- Plane 15 Private Use
	{ 0x100000, 0x10FFFD, "<private-use-%04X>" }  -- Plane 16 Private Use
}
name_hooks.length = #name_hooks

local name_range_cache

local function generate_name(data, codepoint)
	if type(data) == "string" then
		return data:format(codepoint)
	else
		return data(codepoint)
	end
end

--[[
-- Checks that the code point is a number and in range.
-- Does not check whether code point is an integer.
-- Not used
local function check_codepoint(funcName, argIdx, val)
	require 'libraryUtil'.checkType(funcName, argIdx, val, 'number')
	if codepoint < 0 or 0x10FFFF < codepoint then
		errorf("Codepoint %04X out of range", codepoint)
	end
end
--]]

function p.is_noncharacter(codepoint)
	-- U+FDD0-U+FDEF and all code points ending in FFFE or FFFF are Unassigned
	-- (Cn) and specifically noncharacters:

	-- https://www.unicode.org/faq/private_use.html#nonchar4
	return 0xFDD0 <= codepoint and (codepoint <= 0xFDEF
			or floor(codepoint % 0x10000) >= 0xFFFE)
end

-- https://www.unicode.org/versions/Unicode11.0.0/ch04.pdf, section 4.8
function p.lookup_name(codepoint)
	if p.is_noncharacter(codepoint) then
		return ("<noncharacter-%04X>"):format(codepoint)
	end

	if name_range_cache -- Check if previously used "name hook" applies to this code point.
			and codepoint >= name_range_cache[1]
			and codepoint <= name_range_cache[2] then
		return generate_name(name_range_cache[3], codepoint)
	end
	
	local range = binary_range_search(codepoint, name_hooks)
	if range then
		name_range_cache = range
		return generate_name(range[3], codepoint)
	end

	local data = loader[('names/%03X'):format(codepoint / 0x1000)]
	
	if data and data[codepoint] then
		return data[codepoint]
	
	-- Unassigned (Cn) consists of noncharacters and reserved characters.
	-- The character has been established not to be a noncharacter,
	-- and if it were assigned, its name would already been retrieved,
	-- so it must be reserved.
	else
		return ("<reserved-%04X>"):format(codepoint)
	end
end

function p.lookup_image(codepoint)
	local data = loader[('images/%03X'):format(codepoint / 0x1000)]
	
	if data then
		return data[codepoint]
	end
end

local planes = {
	[ 0] = "Basic Multilingual Plane";
	[ 1] = "Supplementary Multilingual Plane";
	[ 2] = "Supplementary Ideographic Plane";
	[ 3] = "Tertiary Ideographic Plane";
	[14] = "Supplementary Special-purpose Plane";
	[15] = "Supplementary Private Use Area-A";
	[16] = "Supplementary Private Use Area-B";
}

-- Load [[Module:Unicode data/blocks]] if needed and assign it to this variable.
local blocks

local function block_iter(blocks, i)
	i = i + 1
	local data = blocks[i]
	if data then
		 -- Unpack doesn't work on tables loaded with mw.loadData.
		return i, data[1], data[2], data[3]
	end
end

-- An ipairs-type iterator generator for the list of blocks.
function p.enum_blocks()
	local blocks = loader.blocks
	return block_iter, blocks, 0
end

function p.lookup_plane(codepoint)
	local i = floor(codepoint / 0x10000)
	return planes[i] or ("Plane %u"):format(i)
end

function p.lookup_block(codepoint)
	local blocks = loader.blocks
	local range = binary_range_search(codepoint, blocks)
	if range then
		return range[3]
	else
		return "No Block"
	end
end

function p.get_block_info(name)
	for i, block in ipairs(loader.blocks) do
		if block[3] == name then
			return block
		end
	end
end

function p.is_valid_pagename(pagename)
	local has_nonws = false

	for cp in mw.ustring.gcodepoint(pagename) do
		if (cp == 0x0023) -- #
		or (cp == 0x005B) -- [
		or (cp == 0x005D) -- ]
		or (cp == 0x007B) -- {
		or (cp == 0x007C) -- |
		or (cp == 0x007D) -- }
		or (cp == 0x180E) -- MONGOLIAN VOWEL SEPARATOR
		or ((cp >= 0x2000) and (cp <= 0x200A)) -- spaces in General Punctuation block
		or (cp == 0xFFFD) -- REPLACEMENT CHARACTER
		then
			return false
		end

		local printable, result = p.is_printable(cp)
		if not printable then
			return false
		end

		if result ~= "space-separator" then
			has_nonws = true
		end
	end

	return has_nonws
end

local function manual_unpack(what, from)
	if what[from + 1] == nil then
		return what[from]
	end
	
	local result = {}
	from = from or 1
	for i, item in ipairs(what) do
		if i >= from then
			table.insert(result, item)
		end
	end
	return unpack(result)
end

local function compare_ranges(range1, range2)
	return range1[1] < range2[1]
end

-- Creates a function to look up data in a module that contains "singles" (a
-- code point-to-data map) and "ranges" (an array containing arrays that contain
-- the low and high code points of a range and the data associated with that
-- range).
-- "loader" loads and returns the "singles" and "ranges" tables.
-- "match_func" is passed the code point and either the data or the "dots", and
-- generates the final result of the function.
-- The varargs ("dots") describes the default data to be returned if there wasn't
-- a match.
-- In case the function is used more than once, "cache" saves ranges that have
-- already been found to match, or a range whose data is the default if there
-- was no match.
local function memo_lookup(data_module_subpage, match_func, ...)
	local dots = { ... }
	local cache = {}
	local singles, ranges

	return function (codepoint)
		if not singles then
			local data_module = loader[data_module_subpage]
			singles, ranges = data_module.singles, data_module.ranges
		end

		if singles[codepoint] then
			return match_func(codepoint, singles[codepoint])
		end

		local range = binary_range_search(codepoint, cache)
		if range then
			return match_func(codepoint, manual_unpack(range, 3))
		end
		
		local range, index = binary_range_search(codepoint, ranges)
		if range then
			table.insert(cache, range)
			table.sort(cache, compare_ranges)
			return match_func(codepoint, manual_unpack(range, 3))
		end
		
		if ranges[index] then
			local dots_range
			if codepoint > ranges[index][2] then
				dots_range = {
					ranges[index][2] + 1,
					ranges[index + 1] and ranges[index + 1][1] - 1 or 0x10FFFF,
					unpack(dots)
				}
			else -- codepoint < range[index][1]
				dots_range = {
					ranges[index - 1] and ranges[index - 1][2] + 1 or 0,
					ranges[index][1] - 1,
					unpack(dots)
				}
			end
			table.sort(cache, compare_ranges)
		end
		
		return match_func(codepoint)
	end
end

-- Get a code point's combining class value in [[Module:Unicode data/combining]],
-- and return whether this value is not zero. Zero is assigned as the default
-- if the combining class value is not found in this data module.
-- That is, return true if character is combining, or false if it is not.
-- See https://www.unicode.org/reports/tr44/#Canonical_Combining_Class_Values for
-- more information.
p.is_combining = memo_lookup(
	"combining",
	function (codepoint, combining_class)
		return combining_class and combining_class ~= 0 or false
	end,
	0)

function p.add_dotted_circle(str)
	return (mw.ustring.gsub(str, ".",
		function(char)
			if p.is_combining(mw.ustring.codepoint(char)) then
				return '◌' .. char
			end
		end))
end

local lookup_control = memo_lookup(
	"control",
	function (codepoint, ccc)
		return ccc or "assigned"
	end,
	"assigned")
p.lookup_control = lookup_control

function p.is_assigned(codepoint)
	return lookup_control(codepoint) ~= "unassigned"
end

function p.is_printable(codepoint)
	local result = lookup_control(codepoint)
	return (result == "assigned") or (result == "space-separator"), result
end

function p.is_whitespace(codepoint)
	local result = lookup_control(codepoint)
	return (result == "space-separator"), result
end

p.lookup_category = memo_lookup(
	"category",
	function (codepoint, category)
		return category
	end,
	"Cn")

local lookup_script = memo_lookup(
	"scripts",
	function (codepoint, script_code)
		return script_code or 'Zzzz'
	end,
	"Zzzz")
p.lookup_script = lookup_script

function p.get_best_script(str)
	-- Check type of argument, because mw.text.decode coerces numbers to strings!
	require "libraryUtil".checkType("get_best_script", 1, str, "string")
	
	-- Convert HTML character references (including named character references,
	-- or character entities) to characters.
	str = mw.text.decode(str, true)
	
	local scripts = {}
	for codepoint in mw.ustring.gcodepoint(str) do
		local script = lookup_script(codepoint)
		
		-- Ignore "Inherited", "Undetermined", or "Uncoded" scripts.
		if not (script == "Zyyy" or script == "Zinh" or script == "Zzzz") then
			scripts[script] = true
		end
	end
	
	-- If scripts does not contain two or more keys,
	-- return first and only key (script code) in table.
	if not next(scripts, next(scripts)) then
		return next(scripts)
	end -- else return majority script, or else "Zzzz"?
end

function p.is_Latin(str)
	require "libraryUtil".checkType("get_best_script", 1, str, "string")
	str = mw.text.decode(str, true)
	
	-- Search for the leading bytes that introduce the UTF-8 encoding of the
	-- code points U+0340-U+10FFFF. If they are not found and there is at least
	-- one Latin-script character, the string counts as Latin, because the rest
	-- of the characters can only be Zyyy, Zinh, and Zzzz.
	-- The only scripts found below U+0370 (the first code point of the Greek
	-- and Coptic block) are Latn, Zyyy, Zinh, and Zzzz.
	-- See the codepage in the [[UTF-8]] article.
	if not str:find "[\205-\244]" then
		for codepoint in mw.ustring.gcodepoint(str) do
			if lookup_script(codepoint) == "Latn" then
				return true
			end
		end
	end
	
	local Latn = false
	local i = 0;																-- indexer for use in error messages
	
	for codepoint in mw.ustring.gcodepoint(str) do
		i = i + 1;																-- bump the indexer
		local script = lookup_script(codepoint)
		
		if script == "Latn" then
			Latn = true
		elseif not (script == "Zyyy" or script == "Zinh"
				or script == "Zzzz") then
			return false, i														-- abandon as not Latn; identify the offending character's position
		end
	end
	
	return Latn, (not Latn and i) or nil										-- when <Latn> false, return offending charactor's position as second return value; nil else
end

-- Checks if the text contains Cyrrilic scripts
function p.is_Cyrillic(str)
	require "libraryUtil".checkType("get_best_script", 1, str, "string")
	str = mw.text.decode(str, true)
		
	local Cyrl = false
	
	for codepoint in mw.ustring.gcodepoint(str) do
		local script = lookup_script(codepoint)
		
		if script == "Cyrl" then
			Cyrl = true
		elseif not (script == "Zyyy" or script == "Zinh"
				or script == "Zzzz") then
			return false
		end
	end
	
	return Cyrl	
end	

-- Checks that a string contains only characters belonging to right-to-left
-- scripts, or characters of ignorable scripts.
function p.is_rtl(str)
	require "libraryUtil".checkType("get_best_script", 1, str, "string")
	str = mw.text.decode(str, true)
	
	-- Search for the leading bytes that introduce the UTF-8 encoding of the
	-- code points U+0580-U+10FFFF. If they are not found, the string can only
	-- have characters from a left-to-right script, because the first code point
	-- in a right-to-left script is U+0591, in the Hebrew block.
	if not str:find "[\214-\244]" then
		return false
	end
	
	local result = false
	local rtl = loader.scripts.rtl
	for codepoint in mw.ustring.gcodepoint(str) do
		local script = lookup_script(codepoint)
		
		if rtl[script] then
			result = true
		elseif not (script == "Zyyy" or script == "Zinh"
				or script == "Zzzz") then
			return false
		end
	end
	
	return result
end


--[[--------------------------< I S _ R T L _ F R A M E >------------------------------------------------------

external entry from an {{#invoke:}} to determine if a string of text is rtl.  Strips html and html-like tags so
that those tags don't corrupt the is-rtl-is-not-rtl determination; this added for the cases where the rtl text
has <br /> tags.

]]

function p.is_rtl_frame (frame)
	local str = frame.args[1];													-- get the string from the {{#invoke:}} frame
	str = str:gsub ('%b<>', '');												-- strip any html and html-like tags
	return p.is_rtl (str);														-- return if whatever remains rtl; false else
end


local function get_codepoint(args, arg)
	local codepoint_string = args[arg]
		or errorf(2, "Parameter %s is required", tostring(arg))
	local codepoint = tonumber(codepoint_string, 16)
		or errorf(2, "Parameter %s is not a code point in hexadecimal base",
			tostring(arg))
	if not (0 <= codepoint and codepoint <= 0x10FFFF) then
		errorf(2, "code point in parameter %s out of range", tostring(arg))
	end
	return codepoint
end

local function get_func(args, arg, prefix)
	local suffix = args[arg]
		or errorf(2, "Parameter %s is required", tostring(arg))
	suffix = mw.text.trim(suffix)
	local func_name = prefix .. suffix
	local func = p[func_name]
		or errorf(2, "There is no function '%s'", func_name)
	return func
end

-- This function allows any of the "lookup" functions to be invoked. The first
-- parameter is the word after "lookup_"; the second parameter is the code point
-- in hexadecimal base.
function p.lookup(frame)
	local func = get_func(frame.args, 1, "lookup_")
	local codepoint = get_codepoint(frame.args, 2)
	local result = func(codepoint)
	if func == p.lookup_name then
		-- Prevent code point labels such as <control-0000> from being
		-- interpreted as HTML tags.
		result = result:gsub("<", "&lt;")
	end
	return result
end

function p.is(frame)
	local func = get_func(frame.args, 1, "is_")
	
	-- is_Latin and is_valid_pagename take strings.
	if func == p.is_Latin or func == p.is_Cyrillic or func == p.is_valid_pagename or func == p.is_rtl then
		return (func(frame.args[2]))
	else -- The rest take code points.
		local codepoint = get_codepoint(frame.args, 2)
		return (func(codepoint)) -- Adjust to one result.
	end
end

function p.lookup_kCantonese(codepoint)
	local data = loader[('Unihan/kCantonese/%02X'):format(floor(codepoint / 0x1000))]
	if data then
		return data[codepoint]
	end
end

return p

testcases for get_best_script

testcases for is_Latin

testcases for is_combining

testcases for is_default_ignorable

testcases for is_rtl

testcases for lookup_age

testcases for lookup_block

testcases for lookup_category

testcases for lookup_name

testcases for lookup_script