計算機剛誕生的時候，計算機內的字符可以全部由 ASCII 來表示，ASCII 字符的長度是 7 位，可以表示 128 個字符，對于美國等國家來說是夠了，但是對于世界上的其他國家，特別是東亞國家，文字不是由字母組成，漢字就有幾萬個，ASCII 碼根本不夠用。

字符本質就是對應計算機中的一個數值，既然不夠用，那么解決方法就是把這個范圍擴大，Unicode 的出現就解決了這個問題，它包括了世界上所有的字符，每一個字符都對應一個數值，這個數值被稱之為 Unicode 碼點。

但是 Unicode 也不是沒有缺點，因為表示的范圍大，所以每一個 Unicode 都需要 4 個字節來表示，但是對于原本的 ASCII 編碼，本來只需要一個字節，現在也需要 4個字節，這樣會浪費很多存儲。

UTF-8 的出現解決了這個問題，它解決問題的思路是讓每個字符選擇自己的大小，需要多少字節就用多少。對于占不同字節的字符，有不同的表示格式：

• 1 字節：0xxxxxxx
• 2 字節：110xxxxx 10xxxxxx
• 3 字節：1110xxxx 10xxxxxx 10xxxxxx
• 4 字節：11110xxx 10 xxxxxx 10xxxxxx 10xxxxxx

通過識別每個字符串的頭部來判斷占幾個字節。

每個 Unicode 字符都對應一個碼點，在字符串中，可以對碼點進行轉義，使用 \uhhhh 表示 16 位碼點，使用 \Uhhhhhhhh 來表示 32 位碼點，每一個 h 都代表一個十六進制的數字。

這里有一點比較特殊，對于碼點值小于 256 的文字符號可以使用單個十六進制的數字來表示，比如 'A' 可以使用 '\x41' 來表示，對于大于 256 的碼點，就必須使用 \u 或者 \U 來轉義。

Go 語言對于 UTF-8 的支持很好，這里有一點很有意思，Go 語言的兩位作者 Ken Thompson 和 Rob Pike 同時也是 UTF-8 的發明者，Go 語言對 UTF-8 的支持贏在起跑線。

Go 語言總是使用 UTF-8 來處理源文件，同時也是優先使用 UTF-8 來處理字符串。所以上面說到的那些 Unicode 字符的轉義被 Go 直接處理，比如下面三個字符串在 Go 語言中是等價的:

"世界"
"\u4e16\u754c"
"\U00004e16\U0000u754c"

Go 字符串使用只讀的 []byte 來存儲，所以字符串值是不變的，這樣做更安全，效率也很高：

s := "left root"
t := s
s += ", right root"

fmt.Println(s) // left root, right root
fmt.Println(t) // left root

在上面的例子中， s 的值出現了變化，但是 t 的值還是舊的字符串。由于是 [] byte 是 slice 類型，所以字符串的截取操作效率很高，但是在字符串截取的過程中，就會出現一些坑。
Go 中的字符串底層使用了只讀的 []byte 來存儲，所以**本質上 Go 語言中的字符串是使用字節來表示，而不是字符表示，**理解這一點很重要。

str := "hello world"
fmt.Println(str[:2]) // he

str = "你好，世界"
fmt.Println(str[:2]) // ��，這個符號用來表示 UTF-8 里面的未知字符，碼點是

非 ASCII 碼的字符一般占用的字節會超過一個，如果直接截取，就會導致截取不到正確的位置，從而亂碼。在上面的例子中，一個中文字符占 3 個字節，只有嚴格按照字節數來截取才能獲取到顯示正常的字符：

str = "你好，世界"
fmt.Println(str[:3]) // 你

那么在這個時候，如果要按照字符截取，就需要把字符串轉成 []rune，每個 rune 都代表一個 UTF-8 中的碼點，對 []rune 按照字符截取就不會出現亂碼：

str = "你好，世界"
runeStr := []rune(str)
fmt.Println(string(runeStr[:1])) // 你

把字符串轉成 []rune，就是把字符串轉成 UTF-8 碼點，而不是 []byte，rune 其實就是 int32 類型。

Go 語言中有一個專門 unicode/utf8 包來處理 utf8 字符。由于每個字符占據的字節可能不一樣，所以字符數和字節數大小是兩回事：

s := "Hello, 世界" // 逗號是半角符號
fmt.Println(len(s))                    // 13
fmt.Println(utf8.RuneCountInString(s)) // 9

如果要獲取字符占據的總字節數，就使用 len 方法，如果需要計算字符的個數，那就需要使用 utf8.RuneCountInString 方法。
這個包里面還提供了其他常用函數：

// 判斷是否符合 utf8 編碼：
func Valid(p []byte) bool
func ValidRune(r rune) bool
func ValidString(s string) bool
// 判斷 rune 所占的字節數
func RuneLen(r rune) int
// 判斷字節串或者字符串中的 rune 字符數
func RuneCount(p []byte) int
func RuneCountInString(s string) int
// 對 rune 的編碼和解碼
func EncodeRune(p []byte, r rune) int
func DecodeRune(p []byte) (r rune, size int)
func DecodeRuneInString(s string) (r rune, size int)
func DecodeLastRune(p []byte) (r rune, size int)
func DecodeLastRuneInString(s string) (r rune, size int)

除了 utf8 包之外， unicode 包對提供了一系列 IsXX 函數來 rune 的檢查：

func Is(rangeTab *RangeTable, r rune) bool // 是否是 RangeTable 類型的
func In(r rune, ranges ...*RangeTable) bool  // 是否是 ranges 中任意一個類型的字符
func IsControl(r rune) bool  // 是否是控制字符
func IsDigit(r rune) bool  // 是否是阿拉伯數字字符，即 0-9
func IsGraphic(r rune) bool // 是否是圖形字符
func IsLetter(r rune) bool // 是否是字母
func IsLower(r rune) bool // 是否是小寫字符
func IsMark(r rune) bool // 是否是符號字符
func IsNumber(r rune) bool // 是否是數字字符，包含羅馬數字
func IsOneOf(ranges []*RangeTable, r rune) bool // 是否是 RangeTable 中的一個
func IsPrint(r rune) bool // 是否是可打印字符
func IsPunct(r rune) bool // 是否是標點符號
func IsSpace(r rune) bool // 是否是空格
func IsSymbol(r rune) bool // 是否符號字符
func IsTitle(r rune) bool // 字符串中的每個單詞的第一個字符是否是大寫
func IsUpper(r rune) bool // 是否是大寫字符

RangeTable 是對所有 Unicode 字符的分類，比如驗證一個字符是否是漢字：

r := '中'
result := unicode.Is(unicode.Han, r)
fmt.Println(result) // true

其中 unicode.Han 就是 RangeTable 類型，表示漢字。

到此這篇關于Go語言中的UTF-8實現的文章就介紹到這了,更多相關Go語言UTF-8內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家！