Как задействовать искусственный интеллект для самообучения?

"Сильнее можно стать, только играя с более сильным противником".
Натренировать ИИ на что то и постоянно соревноваться с ним в этом. Причём и он будет учиться и вы.
Больше в голову не приходит ничего. Конкретизируйте вопрос.

Я когда-то о таком слышал. Идея, что система (на основе машинного обучения) подбирает задания (или материал) которые (по мнению системы) позволят конкретному студенту сделать наибольший прогресс (типа репетитора). Курсера по моему хотела внедрить, но не уверен.

Со 100% уверенностью заявляю, что на настоящий момент искусственного интеллекта не существует, но существует множество интеллектуальных систем опирающихся на множество различных методов искусственного интеллекта
Поэтому, для начала необходимо прояснить, что именно Вы имеете в виду под словами "искусственный интеллект"?

Если же в слова "искусственный интеллект" Вы вкладываете понятия "интеллектуальные системы" и "методы искусственного интеллекта", то ответ на Ваш вопрос сильно зависит от области, в которой вы хотите самообучаться а также от наличия готовых "интеллектуальных решений" для поддержки обучаемых в выбранном вами направлении.