對于初學(xué)者可能MySQL是設(shè)計框架不是很了解,而其實在了解內(nèi)存結(jié)構(gòu)等。下面小編就為大家分享下MySQL的設(shè)計架構(gòu),一起來看一下吧。
在使用Impala這種所謂大數(shù)據(jù)引擎的時候,總會感覺有些地方設(shè)計的不是那么盡善盡美,比如說緩存,Impala的查詢結(jié)果是沒有經(jīng)過緩存的,也就是說每次都相當(dāng)于需要重新對文件執(zhí)行一遍查詢。
MySQL基本架構(gòu)如下圖,是MySQL的邏輯架構(gòu)圖:
最上層的服務(wù)并不是MySQL所獨有的,大多數(shù)基于網(wǎng)絡(luò)的客戶端/服務(wù)器的工具或者服務(wù)都有類似的架構(gòu),比如連接處理、授權(quán)認(rèn)證、安全等等。
第二層架構(gòu)是MySQL比較有意思的部分大多數(shù)MySQL的核心服務(wù)功能都在這一層。包括查詢解析、分析、優(yōu)化、緩存以及所有的內(nèi)置函數(shù),所有跨存儲引擎的功能都在這一層實現(xiàn):存儲過程、觸發(fā)器、視圖等。
第三層包含了存儲引擎。存儲引擎負(fù)責(zé)MySQL中數(shù)據(jù)的存儲和提取。和GNU/Linux下的各種文件系統(tǒng)一樣,每個存儲引擎都有它的優(yōu)勢和劣勢。服務(wù)器通過API與存儲引擎進行通信。這些接口屏蔽了不同存儲引擎之間的差異。
下面挑幾個模塊解釋一下:
1.解析器
SQL命令傳遞到解析器的時候會被解析器驗證和解析。解析器是由Lex和YACC實現(xiàn)的,是一個很長的腳本。
主要功能:
將SQL語句分解成數(shù)據(jù)結(jié)構(gòu),并將這個結(jié)構(gòu)傳遞到后續(xù)步驟,以后SQL語句的傳遞和處理就是基于這個結(jié)構(gòu)的
如果在分解構(gòu)成中遇到錯誤,那么就說明這個sql語句是不合理的
2.優(yōu)化器
SQL語句在查詢之前會使用查詢優(yōu)化器對查詢進行優(yōu)化。他使用的是“選取-投影-聯(lián)接”策略進行查詢。
用一個例子就可以理解:select uid,name from user where gender = 1;
這個select 查詢先根據(jù)where 語句進行選取,而不是先將表全部查詢出來以后再進行g(shù)ender過濾
這個select查詢先根據(jù)uid和name進行屬性投影,而不是將屬性全部取出以后再進行過濾
將這兩個查詢條件聯(lián)接起來生成最終查詢結(jié)果。
3.緩存
如果查詢緩存有命中的查詢結(jié)果,查詢語句就可以直接去查詢緩存中取數(shù)據(jù)。
這個緩存機制是由一系列小緩存組成的。比如表緩存,記錄緩存,key緩存,權(quán)限緩存等。
補充知識
1.查詢優(yōu)化和執(zhí)行(Optimization and Execution)
MySQL將用戶的查詢語句進行解析,并創(chuàng)建一個內(nèi)部的數(shù)據(jù)結(jié)構(gòu)——分析樹,然后進行各種優(yōu)化,例如重寫查詢、選擇讀取表的順序,以及使用哪個索引等。
查詢優(yōu)化器不關(guān)心一個表所使用的存儲引擎,但是存儲引擎會影響服務(wù)器如何優(yōu)化查詢。優(yōu)化器通過存儲引擎獲取一些參數(shù)、某個操作的執(zhí)行代價、以及統(tǒng)計信息等。在解析查詢之前,服務(wù)器會先訪問查詢緩存(query cache)——它存儲SELECT語句以及相應(yīng)的查詢結(jié)果集。如果某個查詢結(jié)果已經(jīng)位于緩存中,服務(wù)器就不會再對查詢進行解析、優(yōu)化、以及執(zhí)行。它僅僅將緩存中的結(jié)果返回給用戶即可,這將大大提高系統(tǒng)的性能。
2.并發(fā)控制(鎖粒度)
MySQL提供兩個級別的并發(fā)控制:服務(wù)器級(the server level)和存儲引擎級(the storage engine level)。加鎖是實現(xiàn)并發(fā)控制的基本方法,MySQL中鎖的粒度:
表級鎖:MySQL獨立于存儲引擎提供表鎖,例如,對于ALTER TABLE語句,服務(wù)器提供表鎖(table-level lock)。
行級鎖:InnoDB和Falcon存儲引擎提供行級鎖,此外,BDB支持頁級鎖。InnoDB的并發(fā)控制機制,下節(jié)詳細(xì)討論。
另外,值得一提的是,MySQL的一些存儲引擎(如InnoDB、BDB)除了使用封鎖機制外,還同時結(jié)合MVCC機制,即多版本兩階段封鎖協(xié)議(Multiversion two-phrase locking protocal),來實現(xiàn)事務(wù)的并發(fā)控制,從而使得只讀事務(wù)不用等待鎖,提高了事務(wù)的并發(fā)性。
注意: 行級鎖只在存儲引擎層實現(xiàn),而MySQL服務(wù)器層沒有實現(xiàn)。服務(wù)器層完全不了解存儲引種的鎖實現(xiàn)。
3.事務(wù)
MySQL中,InnoDB和BDB都支持事務(wù)處理。這里主要討論InnoDB的事務(wù)處理。
事務(wù)的ACID特性:
事務(wù)是由一組SQL語句組成的邏輯處理單元,事務(wù)具有以下4個屬性,通常簡稱為事務(wù)的ACID屬性。
原子性(Atomicity):事務(wù)是一個原子操作單元,其對數(shù)據(jù)的修改,要么全都執(zhí)行,要么全都不執(zhí)行。
一致性(Consistent):在事務(wù)開始和完成時,數(shù)據(jù)都必須保持一致狀態(tài)。這意味著所有相關(guān)的數(shù)據(jù)規(guī)則都必須應(yīng)用于事務(wù)的修改,以保持?jǐn)?shù)據(jù)的完整性;事務(wù)結(jié)束時,所有的內(nèi)部數(shù)據(jù)結(jié)構(gòu)(如B樹索引或雙向鏈表)也都必須是正確的。
隔離性(Isolation):數(shù)據(jù)庫系統(tǒng)提供一定的隔離機制,保證事務(wù)在不受外部并發(fā)操作影響的“獨立”環(huán)境執(zhí)行。這意味著事務(wù)處理過程中的中間狀態(tài)對外部是不可見的,反之亦然。
持久性(Durable):事務(wù)完成之后,它對于數(shù)據(jù)的修改是永久性的,即使出現(xiàn)系統(tǒng)故障也能夠保持。
事務(wù)處理帶來的相關(guān)問題:
由于事務(wù)的并發(fā)執(zhí)行,帶來以下一些著名的問題:
更新丟失(Lost Update):當(dāng)兩個或多個事務(wù)選擇同一行,然后基于最初選定的值更新該行時,由于每個事務(wù)都不知道其他事務(wù)的存在,就會發(fā)生丟失更新問題--最后的更新覆蓋了由其他事務(wù)所做的更新。
臟讀(Dirty Reads):一個事務(wù)正在對一條記錄做修改,在這個事務(wù)完成并提交前,這條記錄的數(shù)據(jù)就處于不一致狀態(tài);這時,另一個事務(wù)也來讀取同一條記錄,如果不加控制,第二個事務(wù)讀取了這些“臟”數(shù)據(jù),并據(jù)此做進一步的處理,就會產(chǎn)生未提交的數(shù)據(jù)依賴關(guān)系。這種現(xiàn)象被形象地叫做”臟讀”。
不可重復(fù)讀(Non-Repeatable Reads):一個事務(wù)在讀取某些數(shù)據(jù)后的某個時間,再次讀取以前讀過的數(shù)據(jù),卻發(fā)現(xiàn)其讀出的數(shù)據(jù)已經(jīng)發(fā)生了改變、或某些記錄已經(jīng)被刪除了!這種現(xiàn)象就叫做“不可重復(fù)讀”。
幻讀(Phantom Reads):一個事務(wù)按相同的查詢條件重新讀取以前檢索過的數(shù)據(jù),卻發(fā)現(xiàn)其他事務(wù)插入了滿足其查詢條件的新數(shù)據(jù),這種現(xiàn)象就稱為“幻讀”。
[MySQL的設(shè)計架構(gòu)]