mysql優(yōu)化方案(mysql查詢慢的優(yōu)化方案)

其實mysql優(yōu)化方案的問題并不復(fù)雜,但是又很多的朋友都不太了解mysql查詢慢的優(yōu)化方案,因此呢,今天小編就來為大家分享mysql優(yōu)化方案的一些知識,希望可以幫助到大...
其實mysql優(yōu)化方案的問題并不復(fù)雜,但是又很多的朋友都不太了解mysql查詢慢的優(yōu)化方案,因此呢,今天小編就來為大家分享mysql優(yōu)化方案的一些知識,希望可以幫助到大家,下面我們一起來看看這個問題的分析吧!
php+mysql優(yōu)化,百萬至千萬級快速分頁mysql性能到底能有多高
百萬級別不算多,但是查詢必須待條件的,1.表需要加索引,看效果,2對應(yīng)的查詢條件也要加索引看效果。
如何優(yōu)化Mysql千萬級快速分頁
兩步。
1,垂直分表。拆表,按你的各個應(yīng)用場景,如微信登錄、qq登錄,每個應(yīng)用場景一張表,這張表的字段比原表少,僅僅將該場景用到的字段存進去。
2,水平分表。經(jīng)過第一部后,將每個子表進行水平拆分,。具體方法,比如手機號登錄場景的子表,可按手機號末尾一位取模,再分為10個子表,每個子表數(shù)據(jù)量百萬級,mysql性能差不多可以忍受。對了,別忘建個索引。
總結(jié)一下,要達到的目的無非兩個:瘦表,單表數(shù)據(jù)量級不要超過百萬級
如何優(yōu)化MySQL千萬級大表
概述
使用阿里云rdsforMySQL數(shù)據(jù)庫(就是MySQL5.6版本),有個用戶上網(wǎng)記錄表6個月的數(shù)據(jù)量近2000萬,保留最近一年的數(shù)據(jù)量達到4000萬,查詢速度極慢,日常卡死,嚴重影響業(yè)務(wù)。
老系統(tǒng),當(dāng)時設(shè)計系統(tǒng)的人大概是大學(xué)沒畢業(yè),表設(shè)計和SQL語句寫的不僅僅是垃圾,簡直無法直視。原開發(fā)人員都已離職,到我來維護,這就是傳說中的維護不了就跑路,然后我就是掉坑的那個?。。?/p>
方案概述
方案一:優(yōu)化現(xiàn)有MySQL數(shù)據(jù)庫。優(yōu)點:不影響現(xiàn)有業(yè)務(wù),源程序不需要修改代碼,成本最低。缺點:有優(yōu)化瓶頸,數(shù)據(jù)量過億就玩完了。
方案二:升級數(shù)據(jù)庫類型,換一種100%兼容MySQL的數(shù)據(jù)庫。優(yōu)點:不影響現(xiàn)有業(yè)務(wù),源程序不需要修改代碼,你幾乎不需要做任何操作就能提升數(shù)據(jù)庫性能,缺點:多花錢。
方案三:一步到位,大數(shù)據(jù)解決方案,更換newSQL/noSQL數(shù)據(jù)庫。優(yōu)點:沒有數(shù)據(jù)容量瓶頸,缺點:需要修改源程序代碼,影響業(yè)務(wù),總成本最高。
優(yōu)化現(xiàn)有MySQL數(shù)據(jù)庫數(shù)據(jù)庫設(shè)計
表字段避免null值出現(xiàn),null值很難查詢優(yōu)化且占用額外的索引空間,推薦默認數(shù)字0代替null。
盡量使用INT而非BIGINT,如果非負則加上UNSIGNED(這樣數(shù)值容量會擴大一倍),當(dāng)然能使用TINYINT、SMALLINT、MEDIUM_INT更好。
盡量使用TIMESTAMP而非DATETIME。
單表不要有太多字段,建議在20以內(nèi)。
用整型來存IP。
索引并不是越多越好,要根據(jù)查詢有針對性的創(chuàng)建,考慮在WHERE和ORDERBY命令上涉及的列建立索引,可根據(jù)EXPLAIN來查看是否用了索引還是全表掃描。
應(yīng)盡量避免在WHERE子句中對字段進行NULL值判斷,否則將導(dǎo)致引擎放棄使用索引而進行全表掃描。
值分布很稀少的字段不適合建索引,例如"性別"這種只有兩三個值的字段。
字符字段最好不要做主鍵。
不用外鍵,由程序保證約束。
盡量不用UNIQUE,由程序保證約束。
使用多列索引時注意順序和查詢條件保持一致,同時刪除不必要的單列索引。
使用可存下數(shù)據(jù)的最小的數(shù)據(jù)類型,整型<date,time<char,varchar<blob*
使用簡單的數(shù)據(jù)類型,整型比字符處理開銷更小,因為字符串的比較更復(fù)雜。如,int類型存儲時間類型,bigint類型轉(zhuǎn)ip函數(shù)。
使用合理的字段屬性長度,固定長度的表會更快。使用enum、char而不是varchar。
盡可能使用notnull定義字段。
盡量少用text,非用不可最好分表。
查詢頻繁的列,在where,groupby,orderby,on從句中出現(xiàn)的列。
where條件中<,<=,=,>,>=,between,in,以及l(fā)ike字符串+通配符(%)出現(xiàn)的列。
長度小的列,索引字段越小越好,因為數(shù)據(jù)庫的存儲單位是頁,一頁中能存下的數(shù)據(jù)越多越好。
離散度大(不同的值多)的列,放在聯(lián)合索引前面。查看離散度,通過統(tǒng)計不同的列值來實現(xiàn),count越大,離散程度越高。
SQL編寫
使用limit對查詢結(jié)果的記錄進行限定。
避免select*,將需要查找的字段列出來。
使用連接(join)來代替子查詢。
拆分大的delete或insert語句。
可通過開啟慢查詢?nèi)罩緛碚页鲚^慢的SQL。
不做列運算:SELECTidWHEREage+1=10,任何對列的操作都將導(dǎo)致表掃描,它包括數(shù)據(jù)庫教程函數(shù)、計算表達式等等,查詢時要盡可能將操作移至等號右邊。
SQL語句盡可能簡單:一條SQL只能在一個cpu運算;大語句拆小語句,減少鎖時間;一條大SQL可以堵死整個庫。
OR改寫成IN:OR的效率是n級別,IN的效率是log(n)級別,in的個數(shù)建議控制在200以內(nèi)。
不用函數(shù)和觸發(fā)器,在應(yīng)用程序?qū)崿F(xiàn)。
避免%xxx式查詢。
少用JOIN。
使用同類型進行比較,比如用'123'和'123'比,123和123比。
盡量避免在WHERE子句中使用!=或<>操作符,否則將引擎放棄使用索引而進行全表掃描。
對于連續(xù)數(shù)值,使用BETWEEN不用IN:SELECTidFROMtWHEREnumBETWEEN1AND5。
列表數(shù)據(jù)不要拿全表,要使用LIMIT來分頁,每頁數(shù)量也不要太大。
分區(qū)
分區(qū)表的數(shù)據(jù)更容易維護,可以通過清楚整個分區(qū)批量刪除大量數(shù)據(jù),也可以增加新的分區(qū)來支持新插入的數(shù)據(jù)。另外,還可以對一個獨立分區(qū)進行優(yōu)化、檢查、修復(fù)等操作。
部分查詢能夠從查詢條件確定只落在少數(shù)分區(qū)上,速度會很快。
分區(qū)表的數(shù)據(jù)還可以分布在不同的物理設(shè)備上,從而搞笑利用多個硬件設(shè)備。
可以使用分區(qū)表賴避免某些特殊瓶頸,例如InnoDB單個索引的互斥訪問、ext3文件系統(tǒng)的inode鎖競爭。
可以備份和恢復(fù)單個分區(qū)。
一個表最多只能有1024個分區(qū)。
如果分區(qū)字段中有主鍵或者唯一索引的列,那么所有主鍵列和唯一索引列都必須包含進來。NULL值會使分區(qū)過濾無效。
所有分區(qū)必須使用相同的存儲引擎。
分表
分表就是把一張大表,按照如上過程都優(yōu)化了,還是查詢卡死,那就把這個表分成多張表,把一次查詢分成多次查詢,然后把結(jié)果組合返回給用戶。
分表分為垂直拆分和水平拆分,通常以某個字段做拆分項。比如以id字段拆分為100張表:表名為tableName_id%100。
但:分表需要修改源程序代碼,會給開發(fā)帶來大量工作,極大的增加了開發(fā)成本,故:只適合在開發(fā)初期就考慮到了大量數(shù)據(jù)存在,做好了分表處理,不適合應(yīng)用上線了再做修改,成本太高?。?!而且選擇這個方案,都不如選擇我提供的第二第三個方案的成本低!故不建議采用。
分庫升級數(shù)據(jù)庫
開源數(shù)據(jù)庫會帶來大量的運維成本且其工業(yè)品質(zhì)和MySQL尚有差距,有很多坑要踩,如果你公司要求必須自建數(shù)據(jù)庫,那么選擇該類型產(chǎn)品。如tiDBpingcap/tidb,CubridOpenSourceDatabaseWithEnterpriseFeatures。
阿里云POLARDB,POLARDB是阿里云自研的下一代關(guān)系型分布式云原生數(shù)據(jù)庫,100%兼容MySQL,存儲容量最高可達100T,性能最高提升至MySQL的6倍。POLARDB既融合了商業(yè)數(shù)據(jù)庫穩(wěn)定、可靠、高性能的特征,又具有開源數(shù)據(jù)庫簡單、可擴展、持續(xù)迭代的優(yōu)勢,而成本只需商用數(shù)據(jù)庫的1/10。
阿里云OcenanBase,淘寶使用的,扛得住雙十一,性能卓著,但是在公測中,我無法嘗試,但值得期待。
阿里云HybridDBforMySQL(原PetaData),云數(shù)據(jù)庫HybridDBforMySQL(原名PetaData)是同時支持海量數(shù)據(jù)在線事務(wù)(OLTP)和在線分析(OLAP)的HTAP(HybridTransaction/AnalyticalProcessing)關(guān)系型數(shù)據(jù)庫。
騰訊云DCDB,DCDB又名TDSQL,一種兼容MySQL協(xié)議和語法,支持自動水平拆分的高性能分布式數(shù)據(jù)庫——即業(yè)務(wù)顯示為完整的邏輯表,數(shù)據(jù)卻均勻的拆分到多個分片中;每個分片默認采用主備架構(gòu),提供災(zāi)備、恢復(fù)、監(jiān)控、不停機擴容等全套解決方案,適用于TB或PB級的海量數(shù)據(jù)場景。
hadoop家族。hbase/hive懟上就是了。但是有很高的運維成本,一般公司是玩不起的,沒十萬投入是不會有很好的產(chǎn)出的!
我選擇了阿里云的MaxCompute配合DataWorks,使用超級舒服,按量付費,成本極低。
MaxCompute可以理解為開源的Hive,提供SQL/mapreduce/ai算法/python腳本/shell腳本等方式操作數(shù)據(jù),數(shù)據(jù)以表格的形式展現(xiàn),以分布式方式存儲,采用定時任務(wù)和批處理的方式處理數(shù)據(jù)。DataWorks提供了一種工作流的方式管理你的數(shù)據(jù)處理任務(wù)和調(diào)度監(jiān)控。
當(dāng)然你也可以選擇阿里云hbase等其他產(chǎn)品,我這里主要是離線處理,故選擇MaxCompute,基本都是圖形界面操作,大概寫了300行SQL,費用不超過100塊錢就解決了數(shù)據(jù)處理問題。
MySQL實現(xiàn)批量插入以優(yōu)化性能的教程
開啟mysql事務(wù),打開MyBatis的DEBUG日志查看執(zhí)行的SQL,并打印DELETE返回的effectcount
mysql優(yōu)化教程
MySQL的優(yōu)化要根據(jù)實際業(yè)務(wù),并沒有什么通用的優(yōu)化。
其實其他回答都說的很全,
但是我從比較實際的地方說說吧。
第一、開啟MySQL的slowLogslowLog會記錄MySQL執(zhí)行過的慢查詢,比較佛系的辦法就是讓它記錄一段時間,
然后查看里面執(zhí)行的語句。
第二、通過desc的方式來查看慢的原因比如:SELECT*FROMtblWHEREDate=CURDATE();
你可以通過執(zhí)行descSELECT*FROMtblWHEREDate=CURDATE();
這個時候Mysql就會顯示執(zhí)行這句sql的計劃,
如果你發(fā)現(xiàn)是全表查詢,這個時候嘗試在Date上增加索引,
然后再跑一次DESC,這個時候你就會發(fā)現(xiàn)這句語句已經(jīng)走了索引。
*通常這個辦法能解決90%的慢查詢問題。
當(dāng)上面的問題都無法滿足到你的時候,
建議可以參考Mysql官方的參數(shù)設(shè)定,
然后根據(jù)業(yè)務(wù)特性對MySQL進行特定優(yōu)化。
mysql優(yōu)化連接數(shù)防止訪問量過高的方法
這個要看你的這些網(wǎng)站的流量,以及程序?qū)?shù)據(jù)庫的負載大小所決定,如果程序?qū)懙暮芎茫琒QL語句注意優(yōu)化,并且有緩存的話,一般情況下,不會有什么問題,當(dāng)然還是要取決于你服務(wù)器的配置如何,總之不是說單方面可以確定是不是會出問題。
如果出現(xiàn)問題,比如數(shù)據(jù)庫負載過高,那么其它網(wǎng)站肯定會受影響,那就是訪問慢,或報連接數(shù)過多,或無法接數(shù)據(jù)庫。
好了,文章到這里就結(jié)束啦,如果本次分享的mysql優(yōu)化方案和mysql查詢慢的優(yōu)化方案問題對您有所幫助,還望關(guān)注下本站哦!
本文鏈接:http://xinin56.com/ruanjian/2178.html