Если коротко - никак. У гугла и яндкса явно есть в наличии алгоритмы и библиотеки с таким функционалом, однако отдельно в открытом доступе ничего похожего я не нашел. Если проблема чисто "визуального" свойства(строки не влазят в определенные блоки или ломают верстку), то выхода 2:
- Изменить поведение блоков с текстом через цсс overflow-wrap: break-word;,
- или программно разбивать слова длиннее определенного количества символов на блоки по N символов(причем логичнее делать это при выводе, а не при обработке входящих данных).
UPD: Как вариант - вычленять длинные слова и дергать api гугла или яндекса для проверки "на вшивость".
Пока вижу только сбор невалидных N-грамм через склеенный (и заранее известный, что корректный) текст и запись в массив: последовательность символов => как разделить.
Что-то вроде: $arr['аныбез']='аны без';
UPD: Могу ошибаться, но вот вопрос: Генерация слов путем сложения переменных? как раз с целью генерации подобных "склеек" для составления их всевозможных комбинаций.
xmoonlight, это надо иметь овердофига таких пар, то есть из емнип ~7000 часто употребляемых слов будет , короче это много будет, для 100 слов уникальных пар будет 4950. Памяти не хватит.
xmoonlight, чет все равно имхо задача того не стоит... Неужели такой критически важный момент с орфографией? И ладно с 2 словами, а что будет с 3 и более? Там решатель с думателем нужен будет уже...
ThunderCat, момент такой, чтобы избавиться от визуального спам-контента (речи про смысл - пока не идёт).
Пока 2 варианта вижу:
1. Простой - разрыв несуществующих цепочек (окружение по 8-10 символов брать и разделять там, где нужно).
2. Сложный - НС строить и обучать (как Яндекс делал), и бонусом - проверка орфографии сразу сюда же.
Пока 2 варианта вижу:
1. Простой - разрыв несуществующих цепочек (окружение по 8-10 символов брать и разделять там, где нужно) и часть правил слитно/раздельно ("НЕ"/"НИ" и т.д.) - сделать регулярками.
2. Сложный - НС строить и обучать уже по-полной, включая проверку орфографии и разбор предложения по частям речи (+получение структуры предложения и смысла текста).
Есть словари, скачиваешь их, и пользуешься. Разбиваешь слово по совпадениям. Да, надо делать вручную, но там просто перебор. Чтоб все было быстро, словарь надо перевести в удобную для работы структуру.
Для примера, "написаныбезпробела", проходясь по словарю найдешь совпадение написан, на ы слов нет, присоединяешь к первому совпадению, потом пройдясь еще раз, найдешь слово без, потом найдешь пробел, останется окончание, присоединяешь его. Результат будет "написаны без пробела".
как вариант решения в лоб, составить массив всех слов (включая все склонения и српяжения), в тексте реплейсить все слова на слова с пробелами (можно с двух сторон), потом просто удалять лишние пробелы, через рег.выраж. например.
xmoonlight, еще в универе делали лексичекий, морфологический и прочие анализы предложений и отдельных слов. Так что кое-какой опыт у меня есть. Но всегда можно упереться рогом и говорить что все не так, вместо того, чтоб взять и попробовать что-то сделать.
xmoonlight,
по частицам не, создается массив регулярных выражений - словоформ, типа таких 1)/(?!=не)(маленьк(ой|ая|ий|ый|ие|ые))/ \1 /
2)/не(больш(ой|ая|ый|ие|ые)),?\s*а\s+/ не \1, а /
3)
/(далеко|вовсе|отнюдь|нисколько|ничуть)\s*?не(больш(ой|ая|ый|ие|ые))/ \1 не \2 /
4)/не(больш(ой|ая|ый|ие|ые))(?!=,?\s*а)/ не\1 /
1) сначала проходимся регулярными выражениями, обрабатываем прилагательные без отрицательной частицы не
2) проходимся по прилагательным с не с наличием противопоставления
3) проходимся по прилагательным с присутствием в контексте слов далеко, вовсе, отнюдь или наличием в предложении отрицательного местоимения или наречия
4) остаются прилагательные написанные слитно с не, просто окружаем слово пробелами.
Сергей, и как вот на конкретном примере это сработает:
"небольшойамаленькийшарпокатилсяпополу" ?
(распишите, т.к. я не могу применить/не понимаю предложенный Вами алгоритм)
xmoonlight, может мне уже составить массивы всех возможных регулярок-словоформ?
я подкинул мысль, дальше развивайте или ищите еще варианты, пишите нейросеть и обучайте ее... что имхо на порядок сложнее.
PS: ну по крайней мере для меня нейросеть это что-то из фантастики, по крайней мере пока ))
Сергей, Т.е., алгоритм - не сработает и осталась только мысль...))
Понятно...
Пока (кроме НС) мой вариант так и остался: смотреть 8-10 символьное окружение с привязкой правильного разрыва и составлять словарик. Все не/ни - тут никак не учесть, разумеется.
xmoonlight, вы не пробовали и уже заявляете что не сработает.
можно ваш совместить "словарь разрывов" и регулярку по не, я выше описывал.
не она отработает легко.
xmoonlight, ну естественно!
1) Вы регулярки умеете читать/составлять?
2) Она расчитана на то что до нее выполняется разделение ДРУГИХ слов! (см. п.1)
3) я писал - можно ваш совместить "словарь разрывов" и регулярку по не
сначала слова разделяются те что можно разделить и только затем уже регулярки по не 2,3,4 последовательно.
PS: никто не мешает переписать регулярки, это как затравка, а не как готовое решение.
PPS: во второй регулярке последний \s+ можно заменить на \s* но тогда ИНОГДА она может неправильно отрабатывать, если прогонять ее по девственно слитному тексту , скорее всего будет некорректно обрабатывать например такие словосочетания (где после идет слово на А, а не противопоставление, например: небольшойамбар, но если амбар отделить заранее, то все корректно отработает.
Нет у Вас конкретики, значит нет полного понимания (написанного же Вами!) процесса.
Ответа на мой прямой вопрос:
и как вот на конкретном примере это сработает:
"небольшойамаленькийшарпокатилсяпополу" ?
(распишите, т.к. я не могу применить/не понимаю предложенный Вами алгоритм)
у Вас нет - одни "затравки". Итог: Ваш метод - нерабочий.
xmoonlight, можно теми же регулярками, см. п.1
но они могут ошибаться (захватывать другие слова, но не на всех конечно, например регулярка /(маленьк(ой|ая|ий|ие)/ вряд ли захватит другое слово, но наверняка найдутся такие где корень может быть самостоятельным словом, тогда окончание захватит другое слово), поэтому скорее всего надо составлять пары... что увеличит на порядки словарь.
, короче это много будет, для 100 слов уникальных пар будет 4950. Памяти не хватит. 