Как правильно сделать регулярное выражение находящее цифры и арифметические символы?

Непонятно, что конкретно вам нужно.
Если отдельные символы, то [0-9\-+*/], если последовательность (aka выражение), то [0-9\-+*/]+ (но тут с большой осторожностью, т.к. могут быть пробелы, а где пробелы, там могут быть и несколько выражений).
Ну а если нужно разобрать выражение с учетом синтаксиса и наличия ошибок, то тут регуляркой не обойдешься, тогда нужно полноценный синтаксический анализатор писать.