Как в Ubuntu объединить два раздела без LiveCd?

ext4 не поддерживает объединение в логические тома. Если-бы при устанвке был использовал LVM (хотя это боян еще тот) или файловые системы такие как BtrFs, Zfs тогда эту операцию можно было-бы провести. Конечно обязательно проконсультиоровавшись с знакомым сисадмином. Тут основная беда в том что это опасные операции и необратимые. Любая ошибка - и ваши данные потеряны причем на многих разделах сразу.

А так... подключите /dev/sda4 просто как папку например /video и используйте.

c sda3 его объединить нельзя, ибо sda3 - расширенный раздел, костыль чтобы в формате mbr обойти ограничение на 4 раздела.
присоединить sda4, как я понял, надо к разделу sda6 на котором находится корень системы.

ext4 не позволяет изменять свои размеры в примонтированном состоянии. а отмонтировать рабочий корень системы долго и геморно. поэтому придется это делать в оффлайн.
примерно так:
отмонтировать раздел sda4, и в gparted уменьшить его гигабайт на 50 (чтобы высвободить место для расширения sda6). это займет много времени ибо много данных надо перемещать.

далее скачать с оф.сайта gparted.iso и записать его флешку и загрузиться с нее.
вариант два: на андроид-телефон с root-правами проставить drivedroid (лучше взять разблокированную с 4пда.ру) закинуть туда же gparted.iso и через drivedroid захостить read-only USB on MT USB 1 к примеру. перезагрузить комп - выбрать загрузку с USB. прозрачно загрузишься с iso-образа.

в gparted.iso увеличить раздел sda3 (именно sda3) на освободившееся место. а уже потом увеличить sda6 на свободное место.
перезагрузиться в основную систему, примонтиоовать sda4, после чего перенести все данные с раздела sda4 в sda6 и удалить более ненужный sda4.
вновь перезагрузить в gparted.iso и увеличить sda3 и sda6 на освободившееся место.

и да - желательно чтобы комп в это время не вырубался :)

Такое даже на Windows сделать трудно, а уж на Ubuntu...
Просто примонтируйте раздел как папку и используйте.

Помотри тут

Либо сделай по аналогии как написано тут