Обзор изменений утилит Calculate 3.5.1

Сегодня утилиты Calculate получили небольшое но весьма важное обновление.

Магические зависимости

После череды бета-версий мы наконец выпустили релиз утилит 3.5.1, в которых практически полностью автоматизирован процесс разрешения автомагических зависимостей. Именно разрешения, а не предупреждения, как это было в первых бета-версиях.

Суть решения заключается в следующем. Во время сборки пакетов, утилиты, для каждого собираемого пакета вызывают emerge с просчётом зависимостей, эмулируя систему с отсутствием установленных пакетов. Полученные зависимости сопоставляются с задействованными библиотеками, чтобы выявить так называемые автомагические зависимости. После этого производится исправление зависимостей в бинарном пакете. Некоторые зависимости, с которыми слинковался пакет напротив нужно удалить. Они удаляются путём пересборки пакета с отсутствующими библиотеками. Таким образом например скрывается Akonadi во время сборки digiKam.

Несмотря на то, что пакетный менеджер устанавливает все вписанные утилитами зависимости, во время чистки пакетов (–depclean) он так же успешно их и удаляет, т.к. приоритет отдаётся оригинальным ebuild файлам в портежах. К счастью нашлось одно оригинальное решение. Был добавлен сет @autodeps, который как раз и формирует этот самый список магических зависимостей. Данные он берёт из файлов autodeps (/var/db/pkg/*/*/autodeps), включаемых в бинарные пакеты утилитами.

Для примера выполните:

emerge -Op @autodeps

Сейчас список будет скорей всего пуст. Это значит, что ваши пакеты либо не содержат автомагических зависимостей, либо они были удалены, либо попросту не учтены. Теперь давайте установим пакет www-client/otter. Это браузер, в зависимостях у которого прописан движок qtwebkit, но тем не менее он слинкован (а значит, возможно, уже умеет работать) и с qtwebengine.

emerge www-client/otter

После установки браузера сет будет уже не пустой. Проверить это можно выполнив:

emerge -pO @autodeps
...
[binary   R    ] dev-qt/qtwebengine-5.7.1-r1 

Сам сет представляет собой обычный конфигурационный файл (/usr/share/portage/config/sets/calculate.conf), содержащий команду извлекающую содержимое файлов autodeps.

Оптимизация работы с бинарным репозиторием

Если про автомагические зависимости и их вред вы могли ничего не знать, то с неспешной процедурой обновления столкнулись все. Так уж получилось, что поддержка репозитория бинарных пакетов - не основная особенность пакетного менеджера. А потому работа с ним как будто “прикручена” сбоку. Посудите сами. Emerge отдельным вызовом синхронизирует портежи, после чего считает их достоверными и работает с ними. Но вот индекс репозитория пакетов (Packages) он обновляет при каждом вызове emerge. С одной стороны это правильно, т.к. можно долгое время успешно устанавливать пакеты не обновляя портежи, с другой стороны, портежи могут создавать конфликты бинарным пакетам.

Надо отдать должное, пакетный менеджер приложил максимум усилий, чтобы сократить трафик, адаприруясь к работе как http, так и ftp сервера, либо получая заголовок файла, либо скачивая первые 8 Кб для того, чтобы узнать время модификации файла и не скачивать его целиком. Исключительно на http серверах поддерживается так же работа с запакованным индексным файлом. Тем не менее, любые сбои как в работе пакетного менеджера, например при неправильно обрабатываемых разрывов соединения, которые раньше встречались с некоторыми ftp или ошибки в определении часового пояса при определении времени модификации файла Packages по заголовку http запроса, приводят к скачиванию 6 Мб файла. Если при этом возникают проблемы с интернет соединением, то и вовсе к длительным подвисаниям.

В новой версии утилит эта проблема наконец осталась в прошлом. Виновником торжества стала опция TTL, отмечающая время, в течение которого скачанный файл Packages считается достоверным. Скачивание Packages было переложено на утилиту cl-update, которая после проверки актуальности зеркала скачивает запакованный индексный файл и вписывает в него параметр TTL, пресекающий дальнейшие попытки его скачивания пакетным менеджером. После запаковки файл уменьшился до размера ~680 Кб. Решение получилось красивым и функциональным. Переложив обновление индексного файла на утилиты, мы не внося изменений в код портежей и сохраняя обратную совместимость можем добавлять любой новый функционал, что в ближайшее время и собираемся сделать.

Прочие улучшения

В утилите cl-update был реализован механизм кэширования ранее выполненного просчёта зависимостей. Суть его сводилась к тому, чтобы можно было один раз рассчитать список доступных обновлений, после чего выполнить установку пакетов (при запуске графической утилиты из трея) максимально быстро, с передачей списка и использованием опции ‘–nodeps’. К сожалению этот подход не оправдал себя. Периодические проверки обновлений нагружают процессор и расходуют трафик, а кэшем просчитанных зависимостей не всегда удаётся воспользоваться. В итоге часто создаётся ситуация, когда cl-update просчитывал зависимости дважды, чтобы показать их и чтобы выполнить обновление. В новой версии утилит это было исправлено, два запроса объединены в один. В ближайшее время мы планируем переработать механизм определения доступных обновлений сведя к минимуму трафик и полностью убрав нагрузку на процессор.

Ну и последнее. Свежие ночные сборки дистрибутивов внезапно сократились на ~110 пакетов. Сделано это было благодаря исключению из образов пакетов, необходимых только для сборки. При желании вы можете провести такую чистку и в своей системе, выполнив:

emerge -ac --with-bdeps=n

что приведёт к высвобождению примерно 300 Мб.

Оригинальное решение с автомагией. Но списочек автомагии лучше использовать не только для исправления ситуации в дистре, но и для багтепортов в gentoo.

Оригинальное решение с автомагией. Но списочек автомагии лучше использовать не только для исправления ситуации в дистре, но и для багтепортов в gentoo.

Теперь список можно видеть в режиме он-лайн, а так же наблюдать за исправлением багов, т.к. бинарные пакеты пересобираются в т.ч. при обновлении ebuild-а или eclass-а.