Как возможно определить что трафик раздается по wi-fi?

TTL - 1 обычно смотрят.
Т.е. на Вашем устройстве будет TTL меньше на один, чем на устройстве на которое Вы раздали Интернет.
Можно легко проверить (в настройках сетевухи увеличить TTL на 1, в винде - в реестре) на этот ли параметр смотрит провайдер или на что-то ещё.
В модемах Вы совершенно правы, смотрят ещё на симку, но тоже обходится перепрошивкой.

Допустим использование симки в модеме и трафик с торентов можно отследить. Как можно отследить раздачу трафика по wi-fi провайдеру?

Самый просто способ (проверку TTL) уже описал предыдущий оратор, не буду повторяться :)

Далее следует целый набор "хитрых механизмов" уровня "защита от особо умных". Туда входит комплекс "фильтров", отслеживающих поведение вашего устройства. Самый банальный пример, если у Вас Android-смартфон, который внезапно пошел скачивать обновления Windows-10... А так же торренты и целая куча других вариантов сетевой активности, которые никак не свойственны Вашему устройству. Всё целиком и полностью зависит от провайдера и подробности, они разумеется не раскрывают.