Как ускорить Update в цикле на большой таблице?

в цикле делается update table1 set url=$newurl where id=$id;
$newurl вычисляется в функции пхп и для каждой строки он разный и зависит от других скриптов

и зависит от других скриптов

возможно дело в других скриптах?

не делайте апдейты в цикле, разбивайте данные по 1000 записей, и после пачкой делайте запрос на обновление, так будет значительно быстрее

Нет, не в скриптах - комментил только update - и сразу полетело.

А вот по поводу пачками - что вы имеете ввиду? Вставлять в одну транзакцию несколько update или как?

Тогда ясно ... Хотите выиграть в скорости, тогда пристегнитесь ))
Допустим есть такая структура для 10 млн строк

CREATE TABLE table1 (
  `Id` int(11) NOT NULL,
  `url` varchar(256) NOT NULL
  PRIMARY KEY (`Id`)
) ENGINE=InnoDB

Чтобы ускорить загрузку, вам не нужно генерировать апдейт на лету.
Вам нужно выполнить отложенное вычисление в background процесс, где ваш скрипт будет
генерировать данные в файл - к примеру для SQL удобен будет CSV

# table1.csv
id,url
1,http://ya.ru
2,http://google.com
3,http://bing.com

Если у Вас PHP попробуйте создать асинхронный процесс создания файла CSV с вашими данными, например есть для этого фреймворк ReactPHP и когда процесс - success

В основном коде импортируйте данные в вашу таблицу

LOAD DATA LOCAL INFILE 'table1.csv'
    -> INTO TABLE table1
    -> FIELDS TERMINATED BY ','
    -> LINES TERMINATED BY '\n'
    -> IGNORE 1 LINES
    -> (id, url);

Да, спасибо - думаю поможет.

Не понял, что имеется ввиду. Можете словами объяснить? Все закинуть в temporary и там обновлять?

Multiple-table syntax