当前位置:首页 > Mysql教程 > 列表

利用mysql general log日志找出查询次数最多的SQL句子

发布:smiling 来源: PHP粉丝网  添加日期:2015-04-18 12:53:30 浏览: 评论:0 

我们知道不管是apache,iis及mysql都可以通过日志能判断程序性能与错误定位了,今天我们来介绍利用mysql general log日志找出查询次数最多的SQL句子.

查询最多的sql语句,开启general log:

  1. mysql> show  variables like '%general%'
  2. +------------------+-------------------------------------+ 
  3. | Variable_name | Value | 
  4. +------------------+-------------------------------------+ 
  5. | general_log | OFF | 
  6. | general_log_file | /usr/local/mysql/data/localhost.log | 
  7. +------------------+-------------------------------------+ 
  8. mysql> set global general_log = "ON"

analysis-general-log.py脚本:

  1. #!/usr/bin/python 
  2.  
  3. # sort and count mysql general log 
  4. # Author: Jason 
  5. # Created: UTC 2015-02-15 17:51:53 
  6.  
  7. import re 
  8. import sys 
  9. import os 
  10.  
  11. if len(sys.argv) == 2: 
  12.     logPath = sys.argv[1] 
  13.     if not os.path.exists(logPath): 
  14.         print ("file " + logPath + " does not exists."
  15.         sys.exit(1) 
  16. else
  17.     print ("Usage: " + sys.argv[0] + " logPath"
  18.     sys.exit(1) 
  19.  
  20. logFo = open(logPath) 
  21. match = 0 
  22.  
  23. for line in logFo: 
  24.     line = re.sub(r"\n","",line) 
  25.     if match == 0: 
  26.         # match line begin with numbers 
  27.         lineMatch = re.match(r"\s+[0-9]+\s+.*",line,flags=re.I) 
  28.         if lineMatch: 
  29.             lineTmp = lineMatch.group(0) 
  30.             match = match + 1 
  31.             continue 
  32.  
  33.     elif match == 1: 
  34.         # match line begin with numbers 
  35.         lineMatch = re.match(r"\s+[0-9]+\s+.*",line,flags=re.I) 
  36.         if lineMatch:  --phpfensi.com 
  37.             # match only query 
  38.             lineMatchQuery = re.match(r".*Query\s+(.*)",lineTmp,flags=re.I) 
  39.             if lineMatchQuery: 
  40.                 lineTmp = lineMatchQuery.group(1) 
  41.                 # remove extra space 
  42.                 lineTmp = re.sub(r"\s+"" ",lineTmp) 
  43.                 # replace values (value) to values (x) 
  44.                 lineTmp = re.sub(r"values\s*\(.*?\)""values (x)",lineTmp,flags=re.I) 
  45.                 # replace filed = 'value' to filed = 'x' 
  46.                 lineTmp = re.sub(r"(=|>|<|>=|<=)\s*('|\").*?\2","\\1 'x'",lineTmp) 
  47.                 # replace filed = value to filed = x 
  48.                 lineTmp = re.sub(r"(=|>|<|>=|<=)\s*[0-9]+","\\1 x",lineTmp) 
  49.                 # replace like 'value' to like 'x' 
  50.                 lineTmp = re.sub(r"like\s+('|\").*?\1","like 'x'",lineTmp,flags=re.I) 
  51.                 # replace in (value) to in (x) 
  52.                 lineTmp = re.sub(r"in\s+\(.*?\)","in (x)",lineTmp,flags=re.I) 
  53.                 # replace limit x,y to limit 
  54.                 lineTmp = re.sub(r"limit.*","limit",lineTmp,flags=re.I) 
  55.                  
  56.                 print (lineTmp) 
  57.  
  58.             match = 1 
  59.             lineTmp = lineMatch.group(0) 
  60.         else:    
  61.             lineTmp += line 
  62.             match = 1 
  63.  
  64. logFo.close() 

使用方法:

  1. analysis-general-log.py general.log | sort | uniq -c | sort -nr 
  2. 1032 SELECT * FROM wp_comments WHERE ( comment_approved = 'x' OR comment_approved = 'x' ) AND comment_post_ID = x ORDER BY comment_date_gmt DESC 
  3. 653 SELECT post_id, meta_key, meta_value FROM wp_postmeta WHERE post_id in (x) ORDER BY meta_id ASC 
  4. 527 SELECT FOUND_ROWS() 
  5. 438 SELECT t.*, tt.* FROM wp_terms AS t INNER JOIN wp_term_taxonomy AS tt ON t.term_id = tt.term_id WHERE tt.taxonomy = 'x' AND t.term_id = x limit 
  6. 341 SELECT option_value FROM wp_options WHERE option_name = 'x' limit 
  7. 329 SELECT t.*, tt.*, tr.object_id FROM wp_terms AS t INNER JOIN wp_term_taxonomy AS tt ON tt.term_id = t.term_id INNER JOIN wp_term_relationships AS tr ON tr.term_taxonomy_id = tt.term_taxonomy_id WHERE tt.taxonomy in (x) AND tr.object_id in (x) ORDER BY t.name ASC 
  8. 311 SELECT wp_posts.* FROM wp_posts WHERE 1= x AND wp_posts.ID in (x) AND wp_posts.post_type = 'x' AND ((wp_posts.post_status = 'x')) ORDER BY wp_posts.post_date DESC 
  9. 219 SELECT wp_posts.* FROM wp_posts WHERE ID in (x) 
  10. 218 SELECT tr.object_id FROM wp_term_relationships AS tr INNER JOIN wp_term_taxonomy AS tt ON tr.term_taxonomy_id = tt.term_taxonomy_id WHERE tt.taxonomy in (x) AND tt.term_id in (x) ORDER BY tr.object_id ASC 
  11. 217 SELECT wp_posts.* FROM wp_posts WHERE 1= x AND wp_posts.ID in (x) AND wp_posts.post_type = 'x' AND ((wp_posts.post_status = 'x')) ORDER BY wp_posts.menu_order ASC 
  12. 202 SELECT SQL_CALC_FOUND_ROWS wp_posts.ID FROM wp_posts WHERE 1= x AND wp_posts.post_type = 'x' AND (wp_posts.post_status = 'x'ORDER BY wp_posts.post_date DESC limit 
  13. 118 SET NAMES utf8 
  14. 115 SET SESSION sql_mode= 'x' 
  15. 115 SELECT @@SESSION.sql_mode 
  16. 112 SELECT option_name, option_value FROM wp_options WHERE autoload = 'x' 
  17. 111 SELECT user_id, meta_key, meta_value FROM wp_usermeta WHERE user_id in (x) ORDER BY umeta_id ASC 
  18. 108 SELECT YEAR(min(post_date_gmt)) AS firstdate, YEAR(max(post_date_gmt)) AS lastdate FROM wp_posts WHERE post_status = 'x' 
  19. 108 SELECT t.*, tt.* FROM wp_terms AS t INNER JOIN wp_term_taxonomy AS tt ON t.term_id = tt.term_id WHERE tt.taxonomy in (x) AND tt.count > x ORDER BY tt.count DESC limit 
  20. 107 SELECT t.*, tt.* FROM wp_terms AS t INNER JOIN wp_term_taxonomy AS tt ON t.term_id = tt.term_id WHERE tt.taxonomy in (x) AND t.term_id in (x) ORDER BY t.name ASC 
  21. 107 SELECT * FROM wp_users WHERE ID = 'x' 
  22. 106 SELECT SQL_CALC_FOUND_ROWS wp_posts.ID FROM wp_posts WHERE 1= x AND wp_posts.post_type = 'x' AND (wp_posts.post_status = 'x'AND post_date > 'x' ORDER BY wp_posts.post_date DESC limit 
  23. 106 SELECT SQL_CALC_FOUND_ROWS wp_posts.ID FROM wp_posts WHERE 1= x AND wp_posts.post_type = 'x' AND (wp_posts.post_status = 'x'AND post_date > 'x' ORDER BY RAND() DESC limit 
  24. 105 SELECT SQL_CALC_FOUND_ROWS wp_posts.ID FROM wp_posts WHERE 1= x AND wp_posts.post_type = 'x' AND (wp_posts.post_status = 'x'AND post_date > 'x' ORDER BY wp_posts.comment_count DESC limit 

mysql general log日志清除技巧

mysql general log日志不能直接删除,间接方法.

  1. USE mysql; 
  2. CREATE TABLE gn2 LIKE general_log; 
  3. RENAME TABLE general_log TO oldLogs, gn2 TO general_log;

Tags: general log日志 mysql查询次数

分享到: