http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html MySQL: Pagination - SQL_CALC_FOUND_ROWS vs COUNT()-Query Comment Feed de Thu, 09 Sep 2010 20:16:40 +0000 mcw[blog] 'Ruby' Alpha 3 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment2271 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment2271 Srini Tue, 30 Jun 2009 17:10:56 +0000 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment2304 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment2304 Ronald H. Thu, 02 Jul 2009 01:30:42 +0000 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment2316 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment2316 Dominik Jungowski Thu, 02 Jul 2009 09:21:15 +0000
Thanks for the address tip, I'll think about it ]]> http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment2832 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment2832 wasimasif Wed, 15 Jul 2009 13:48:20 +0000
If you are running full-text query on table with 2M+ rows then its good idea to use it. When we tried the query with SQL_CALC_FOUND_ROWS, performed better than two separate queries.

I also agree to prefer SQL_CALC_FOUND_ROWS on frequently updated table. ]]> http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment3060 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment3060 php Tue, 21 Jul 2009 14:56:07 +0000 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment5625 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment5625 pe3sos Mon, 12 Oct 2009 13:42:19 +0000 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment7932 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment7932 Vlad Mon, 30 Nov 2009 18:36:43 +0000
Выбираются 100 строк из таблицы в 15198 строк . Таблица вида:
1;aaaaaaaaaaaaaaaaaaaaaaaaaaaaa;999;999,9;aaaaaaaaaa;aaaaaaaaaaaaa;aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa;32
Первое и последнее поля - индексы.


# Общий вывод
- Как при прямой выборке, так и при обратной, подсчет строк вести с помощью COUNT, а не SQL_CALC_FOUND_ROWS.
- В обратном порядке никогда не извлекать. Правда придется подсчитать строки и обратить массив, но это работает всегда быстрее, чем даже обратная выборка без подсчета.



#1
# Реверс с помощью array_reverse() не влияет на время, то есть лучше извлекать в прямом порядке и обращать массив в PHP

В начале
SELECT * FROM `alifpress_tab_drugs–` WHERE blockId=86 LIMIT 0, 100
0,002529 | rev: 0,002408
В середине
SELECT * FROM `alifpress_tab_drugs–` WHERE blockId=86 LIMIT 7000, 100
0,033052 | rev: 0,033089
В конце
SELECT * FROM `alifpress_tab_drugs–` WHERE blockId=86 LIMIT 15097, 100
0,068655 | rev: 0,068438



#2
# Последние 100 строк в обратном порядке (ORDER BY и DESC) извлекаются на 21% дольше, чем подсчет строк (COUNT), извлечение последних 100 строк в прямом порядке и обращение массива! И это было лучшее проявление обратной выборки, то есть выборка в конце таблицы (ORDER BY recId DESC LIMIT 0, 100). Применять же обратную выборку в середине или начале таблицы вообще не стоит - это время больше в 12 раз, чем при выборке в конце таблицы!
SELECT COUNT(*) AS count FROM `alifpress_tab_drugs–`
SELECT * FROM `alifpress_tab_drugs–` WHERE blockId=86 LIMIT 15097, 100
array_reverse()
0,096872
0,091073
0,088885


SELECT * FROM `alifpress_tab_drugs–` WHERE blockId=86 ORDER BY recId DESC LIMIT 0, 100
0,112414
0,111679
0,109608


#3.
# Подсчет с помощью COUNT и выборка 100 строк в прямом порядке работает 3,5 раз быстрее, чем с помощью SQL_CALC_FOUND_ROWS.
SELECT COUNT(*) AS count FROM `alifpress_tab_drugs–`
SELECT * FROM `alifpress_tab_drugs–` WHERE blockId=86 LIMIT 0, 100
0,020637
0,020737
0,020941
SELECT SQL_CALC_FOUND_ROWS * FROM `alifpress_tab_drugs–` WHERE blockId=86 LIMIT 0, 100
0,073836
0,072075
0,071991


#4.
# Для подсчета строк при обратной выборке SQL_CALC_FOUND_ROWS ни в коем случае не использовать. Этот запрос как бы делает свою работу за одно с выборкой, но лучше подсчитать число строк отдельно с помощью COUNT.

При обратной выборке на всех диапазонах
SELECT SQL_CALC_FOUND_ROWS * FROM `alifpress_tab_drugs–` WHERE blockId=86 ORDER BY recId DESC LIMIT 0, 100
1,23811
1,265026
1,199161

]]> http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment9058 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment9058 Gendalf Fri, 25 Dec 2009 19:04:17 +0000
Суть в том, чтобы прозрачно выбирать "селект" запросы с "SQL_CALC_FOUND_ROWS", при первом запросе выбираем список всех таблиц из запроса, фиксируем максимальную дату изменения, и ложим кол-во записей в кеш. Если одна из таблиц меняется, кеш обновляется. Кусочек кода прилагаю. С С первого взгляда сильно много букв и движений, но в результате о долгих запросах изза пересчета всех записей можно забыть.

private function smart_count_cache() {
if(!stripos($this->sql, 'SQL_CALC_FOUND_ROWS') && !$this->smart_cache_init) return;

// Удаляем из запроса операторы Limit и Order
$sql = preg_replace(array('/Limit\s[0-9\s,]+/si',"/Order By[^\n]+/si"), '', $this->sql);
// Если кеш не инициализирован, создаем таблицу
if (!$this->smart_cache_init)
mysql_query("CREATE TABLE IF NOT EXISTS `@smart_cache` (`query_hash` varchar(64) NOT NULL, `cache_timepoint` int(11) NOT NULL, `query_rows` int(11) DEFAULT 0, PRIMARY KEY (`query_hash`)) ENGINE=HEAP;", $this->DB);
else {
// Если нет, получаем информацию о кол-во строк
$q = mysql_query("Select FOUND_ROWS() as recount", $this->DB); $r = mysql_fetch_array($q); mysql_free_result($q);
// Сохраняем ее в кеше информацию
mysql_query("Replace `@smart_cache` Set query_hash = '".md5($sql)."', cache_timepoint = UNIX_TIMESTAMP(), query_rows = {$r['recount']};", $this->DB);
// И возвращаем
return $r['recount'];
}

$this->smart_cache_init = true;

// Выбираем название всех таблиц, которые участвуют в запросе
if(preg_match_all('/(from\s|join\s)([\w_]+)/si', $sql, $found)) $tables = implode(',',$found[2]);

// Выбираем самую последнюю дату изменения
$q = mysql_query("show table status Where FIND_IN_SET(name, '{$tables}')>0", $this->DB); $LastUpdate = 1000;
while($r = mysql_fetch_array($q)) if(($n = strtotime($r['Update_time'])) > $LastUpdate) $LastUpdate = $n; mysql_free_result($q);

// Проверяем есть ли свежая информация в кеше для этого запроса
$q = mysql_query("Select query_rows From `@smart_cache` Where query_hash = '".md5($sql)."' AND cache_timepoint >= $LastUpdate");
$r = mysql_fetch_array($q); mysql_free_result($q);

if($r) {
// Если есть возращаем информацию
$this->info['count'] = $r['query_rows'];
$this->sql = str_ireplace('SQL_CALC_FOUND_ROWS', '', $this->sql);
}
} ]]> http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment9407 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment9407 online Sun, 03 Jan 2010 22:47:17 +0000 ]]> http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment10005 http://www.phpdevblog.net/2009/06/mysql-pagination-sql-calc-found-rows-vs-count-query.html#comment10005 solarisadmin Sat, 16 Jan 2010 09:17:04 +0000