Битрикс: Похожие новости по названию с совпадением больше 60%?

Уже сам понял, что усложнил задачу. С поиском есть одна проблема, надо выбирать из определенного раздела. Плюс на сайте еще есть настройки персонализации, и выборку тоже надо делать с учетом этих настроек (отключение разделов, источников). Но в поисковом индексе таких данных нет, пробовал свои ключи в индекс добавить. Произвольные ключи в индекс не добавляются, общаюсь с сапортом на тему этого. Так что пока вариант с поиском не оч подходит, хотя он очень удобен и работает отлично без условия выборки из определенного раздела.

sergafon, стоп, вы не туда копаете.
1 Произвольные ключи в индекс добавляются.
2 Вам это нафиг не нужно.

Смотрите, вы же можеет отфильтровать новости требуемым вам образом - по разделам, персонализации и т.д? Можете - вы же список как-то показываете.
Так вот, вы под новостью добавляете компонент новостей С ТЕМ же нужным вам фильтром - он вернет как раз все что вам нужно, но ВСЕ новости. Правильно?
А что вам выдает компонент поиска? Он вам выдает только список id похожих новостей.
Ну и чудесно - вливаете этот список id в ваш фильтр и задача решена.

1 Произвольные ключи в индекс добавляются.

Не добавляются!!!

function BeforeIndexHandler($arFields)
    {
        if($arFields["MODULE_ID"] == "iblock")
        {
            if(array_key_exists("BODY", $arFields) && substr($arFields["ITEM_ID"], 0, 1) != "S")
            {
                $arFields["BODY"] = "";

                if (CModule::IncludeModule('iblock'))
                {
                    $rs = CIBlockElement::GetByID( intval($arFields['ITEM_ID']) );

                    if ($ar = $rs->Fetch())
                    {
                        $arFields['PARAMS']["CODE"] = $ar['CODE'];
                    }
                }
            }

            if (substr($arFields["ITEM_ID"], 0, 1) == "S")
            {
                $arFields['TITLE'] = "";
                $arFields["BODY"] = "";
                $arFields['TAGS'] = "";
            }
        }

        return $arFields;
    }

само событие отрабатывает, но ключ $arFields['PARAMS']["CODE"] в индексе не появляется.

О таком варианте, который вы предлагаете я даже и не подумал) Единственный минус данного способа лишний компонент на странице, который будет слать лишние запросы в БД и увеличивать время генерации страницы. Также нужно будет еще кастомизировать search.page, для того чтобы персонализация в поиске тоже отрабатывала. Если же нужные данные добавить в поисковый индекс, можно просто в компонент поиска передавать фильтр. Если не удаться добавить свои поля в индекс придется делать так как описали вы.

> лишний компонент на странице, который будет слать лишние запросы в БД и увеличивать время генерации страницы
Поиск по куче индексов тоже будет увеличивать время и вероятнее всего гораздо сильнее, потому что там не будет limit - это раз.
Два- сделайте отложенную закгрузку по ajax этого блока.

sergafon, и вот еще нюанс - выдергивание списка id похожих новостей вы сможете кэшировать, так как поиск не будет персонализирован, не кэшируемым останется только фильтр.
В случае если вы сделаете так как вы собираетесь - вам придется сделать некэшируемым полностью весь этот блок.
Так что вариант к которому вы стремитесь по времени будет более тормознутым.
А запросов будет одинаковое количество кстати.

Поиск по куче индексов тоже будет увеличивать время и вероятнее всего гораздо сильнее, потому что там не будет limit - это раз.

есть $obSearch->NavStart(6, false), разве не уменьшит время исполнения? По отладчику показывает что поиск по элементам быстрее отрабатывает чем компонент catalog.section или news.list (время у них почти одинаковое), и скорее всего это связано с тем что выборка идет из индекса, а не из БД как при работе обычного компонента.

Про ajax согласен, тоже упустил из виду этот момент)

А про свои ключи в индексе, вы добавляли сами и у вас получилось?

По отладчику показывает что поиск по элементам быстрее отрабатывает чем компонент catalog.section или news.list
Это так. Но смотрите где вас ждет засада - когда поиск отработает и выдернет вам id элементов ВАМ ВСЕ РАВНО придется испльзовать news.list чтобы достать элементы с этими id. Т.е. архитектура такая при вашем решение НекэшируемыйПоиск(список id)=>НекэшируемаяВыборкаNewsList. В случае если сделаете так как я говорю будет КэшируемыйПоиск(список id + фильтр)=>НекэшируемаяВыборкаNewsList.
Да, запрос в последнем NewsList будет посложнее. Но там такие слезы, что заморачиваться не стоит с этим.
Какая латентность выборки у вас сейчас? Что вы пытаетесь экономить? 0.01 сек?

> А про свои ключи в индексе, вы добавляли сами и у вас получилось?
Ага. Ща посмотрю - кажись вспомнил в каком проекте. Если правильно и найду - выложу.

Да согласен с вами, приходится доп запрос делать чтобы в массив элементов из поиска через result_modifier.php добавить доп. данные картинка и др. Некэшируемая выборка будет только если настройки персонализации сменить или добавлись элементы в инфоблок, в других случаях все из кэша идет, если у компонента отменить "CACHE_GROUP" => "Y", если же произошли изменения кэш сбрасывается автоматически, если конечно компонент в шаблоне другого компонента не вызывать.

По своим полям в индексе буду очень признателен, если найдете. На днях попробую реализовать ваше решение, если все сработает отмечу ваш ответ решением), вы уже оч сильно помогли с решением моего вопроса)

Нет, в том проекте многоязычность там в тело другие языки подклеиваются...
Вот из другого под рукой. Здесь один добавляется индекс.
хм, не знаю - поможет ли...

public static function beforeIndexHandler($arFields) {
        if ($arFields["MODULE_ID"] == "iblock" && $arFields["PARAM2"] == IB_NEWS_EVENTS && substr($arFields["ITEM_ID"], 0, 1) != "S") {
            $self = new static();
            $element = $self->getElement($arFields["ITEM_ID"]);
            $arFields["PARAMS"]["type"] = $element->PROPERTY_TYPE_ENUM_ID;
        }
        return $arFields;
    }

Вы просмотрите у вас что вообще не выходе из функции получается. Просто перед return Добавьте die(''.print_r((array)$arFields,true).''); и сохраните любую новость - индекс умрет и вы увидете - у вас заполняется PARAMS или нет

Посмотрел, все приходит норм, и элемент выбирается из бд тоже нормально, почему в индекс не пишется не понимаю( Может я чето путаю, перед return $arFields;, показывает что ключ добавился в массив. Но на странице поиск компонент search.page в массиве найденных элементов этого параметра нет.

И в PARAMS у вас на выходе из BeforeIndexHandler есть [CODE] => что-то там?

Да там записан символьный код элемента

sergafon, ну и как успехи? Если записан код, то все ок - должно индексироваться.
Могу еще посоветовать после того как вы это сделали и проверили запустить полную переиндексацию инфоблоков, если сами не догадались, а то индексы же волшебным образом не появятся.
А если не помогает - удалить модуль Поиск вместе с табицами и установить его заново - это часто решает разные проблемы связанные с поиском.

Александр Маджугин, Пробовал все что вы перечислили, ничего не помогло. Тех. поддержка тоже ничего не отвечает.

Как определили что ключи не добавляются?

Александр Маджугин, Сапорт ответил, что свои произвольные ключи невозможно добавлять

sergafon, бред какой. У меня код который выше работает в проекте живом уже года два. А еще где-то есть их же документация.

Александр Маджугин, У вас в компоненте search.page в массиве найденных элементов есть произвольные ключи, которые вы добавили в поисковый индекс?
Например

$arResult["SEARCH"] => array(
    0 => array (
        .......
        "CUSTOM_KEY" => "CUSTOM_VALUE"
    )
)

Событие

public static function beforeIndexHandler($arFields) {
        if ($arFields["MODULE_ID"] == "iblock" && $arFields["PARAM2"] == IB_NEWS_EVENTS && substr($arFields["ITEM_ID"], 0, 1) != "S") {

            $arFields["CUSTOM_KEY"] = "CUSTOM_VALUE";
        }
        return $arFields;
    }

В документация про произвольные поля тоже ничего не нашел( У вас какая версия битрикса?

sergafon, нет конечно (у меня и компонента-то нет, но если бы был - все равно не было бы) - речь о массиве найденных элементов или об индексе?
И для чего вам они в массиве найденных элементов?

Александр Маджугин, ну так компонент то возвращает данные из поискового индекса, если данные есть в индексе то они выведутся и в массиве найденных. Мне надо добавить раздел элемента в индекс, чтобы перед выборкой передавать туда фильтр по ИД раздела и получать только данные из нужного раздела, а не из всего инфоблока.

> ну так компонент то возвращает данные из поискового индекса
нет

> если данные есть в индексе то они выведутся и в массиве найденных.
тоже нет

> Мне надо добавить раздел элемента в индекс, чтобы перед выборкой передавать туда фильтр по ИД раздела и получать только данные из нужного раздела, а не из всего инфоблока.
Ну ок - передавайте теперь нужное вам значение в параметрах поиска. Не помню есть ли параметр в стандартном компоненте, если нет - вам придется его модифицировать.
Свои ключи вы должны добавлять в параметры CSearch:Search https://dev.1c-bitrix.ru/api_help/search/classes/c...
Вот пример использования из того же проекта:

/**
     * @param $category
     * @return array
     */
    public function getCategoryParams($category) {
        if ($category == 'news') {
            return [
                'MODULE_ID' => 'iblock',
                'PARAM2' => IB_NEWS_EVENTS,
                "PARAMS" => ['type' => NEWS_TYPE_NEWS],
            ];
        } elseif ($category == 'events') {
            return [
                'MODULE_ID' => 'iblock',
                'PARAM2' => IB_NEWS_EVENTS,
                "PARAMS" => ['type' => NEWS_TYPE_EVENTS],
            ];
        } elseif ($category == 'catalog') {
            return [
                'MODULE_ID' => 'iblock',
                'PARAM2' => IB_CATALOG,
            ];

        } elseif ($category == 'site') {
            return [
                'MODULE_ID' => 'main'
            ];
        }

        return [];
    }

    /**
     * @param $query
     * @param bool $category
     * @return int
     */
    public function count($query, $category = false) {
        $bxSearch = new CSearch();

        $params = [
            "QUERY" => $query,
            "SITE_ID" => LANG,
        ];
        if ($category !== false) {
            $params = array_merge($params, $this->getCategoryParams($category));
        }

        $bxSearch->Search($params, [], [
            'STEMMING' => false
        ]);
        $bxSearch->NavStart();

        return $bxSearch->NavRecordCount;
    }

Александр Маджугин, Я так понимаю у вас тут свой компонент описан? Если нет, то куда прописывать то что вы указали выше?)

sergafon, нет это у меня не в компоненте - это сайт вообще на ZendFramework так что это модель MVC.
Но логика должны быть понятна. Откройте компонент search.page и найдите там использование CSearch::Search - посмотрите что прилетает ему в параметры из параметров компонента и если есть возможность подсунуть через них нужные данные - сделайте. Если нет - модифицируйте компонент - добавьте свой параметр PARAMS скажем и в него добавляйте нужные вам параметры фильтрации.

Александр Маджугин, Смотрел изучал, но не смог до конца понять как именно сделать, точнее насколько я понял это вообще невозможно. Есть функция CSearch::Search() в нее можно передавать свой фильтр и она возвращает данные, фильтр то по разделу я могу передать только толку от этого 0 потому в поисковом индексе не хранится данная информация (раздел элемента) и соответственно фильтровать будет нечего. Как вариант думал над тем что получить ссписок ИД найденных элементов и уже через гет лист выбирать с фильтром по этим ИД и разделам. Но такой вариант не понравился тем что лишние запросы в БД и лишний код. Если по другому никак нельзя придется делать так.

> фильтр то по разделу я могу передать только толку от этого 0 потому в поисковом индексе не хранится данная информация (раздел элемента) и соответственно фильтровать будет нечего.

Ну так вы же добавите (уже добавили) его в индекс и тогда будет что фильтровать.
Обратите внимание - я добавляю "PARAMS" => ['type' => NEWS_TYPE_EVENTS], - вот тут как раз константа NEWS_TYPE_EVENTS и содержит то самое значение что вышепредставленынм кодом я добавил в индекс в параметр type и как раз позволяет сделать мне отдельный поиск по новостям и по событиям, не смотря на то, что разработчик засунул их в 1 ИБ и отличатся они только значением пользовательского свойства.

> Как вариант думал над тем что получить ссписок ИД найденных элементов и уже через гет лист выбирать с фильтром по этим ИД и разделам. Но такой вариант не понравился тем что лишние запросы в БД и лишний код.
Ну я вам выше так и предлагал - тут не надо точно ничего модифицировать и нет ничего плохого в данном подходе. Тем более вы можете кэшировать поисковый запрос, так как их у вас ограниченное число - названия других новостей.

Ну так вы же добавите (уже добавили) его в индекс и тогда будет что фильтровать.

Нельзя в поисковый индекс добавить свои произвольные поля. Это просто не предусмотрено битриксом.

Сейчас почитал свой вопрос) в комментах уже не в ту степь пошел) Просто есть еще поиск и там тоже самое требуется сделать, применять фильтр в зависимости от настроек аккаунта пользователя.

Добавляю в поисковый индекс

function BeforeIndexHandler($arFields)
    {
        if($arFields["MODULE_ID"] == "iblock")
        {
            if(array_key_exists("BODY", $arFields) && substr($arFields["ITEM_ID"], 0, 1) != "S")
            {
                $arFields["BODY"] = "";

                if (CModule::IncludeModule('iblock'))
                {
                    $rs = CIBlockElement::GetByID(intval($arFields['ITEM_ID']));

                    if ($ar = $rs->Fetch())
                    {
                        $arFields["SECTION_ID"] = $ar["IBLOCK_SECTION_ID"];
                    }
                }
            }

            /*if (substr($arFields["ITEM_ID"], 0, 1) == "S")
            {
                $arFields['TITLE'] = "";
                $arFields["BODY"] = "";
                $arFields['TAGS'] = "";
            }*/

            //die(print_r($arFields));
        }

        return $arFields;
    }

В поисковый индекс ИД раздела не добавляется и фильтр не отрабатывает. Видимо придется кастомизировать компоненты и делать все через гет лист с предварительной выборкой ИДшников через поиск.

Параметр добавляется и по нему можно фильтровать. Я понял что имеет ввиду ТП - нельзя добавить свой параметр в индекс полнотекстового поиска - это так. Т.е. если у вас есть поле с текстом и вы хотите чтобы искалось и в этом тексте - сделать это не выйдет. Но для этого есть хак и я даже тут про него писал.

А вот та задача что вы здесь описываете решается именно сохранением параметра поиска именно так как вы делаете.

> Видимо придется кастомизировать компоненты и делать все через гет лист с предварительной выборкой ИДшников через поиск.
Здесь "и" надо заменить на "или" - если вы кастомизируете компонент, то фильтруйте в поиске по найденому параметру. Если это фильтрация по ID из поиска и фильтру - то кастомизация не нужна. Просто два компонента - поик, который вернет вам id и в его шаблоне news.list которому вы суните в фильтр эти id.

Александр Маджугин, Применил событие, которое описал выше, типо добавил в поисковый индекс SECTION_ID, в результатах поиска этого значения у элемента нет, фильтр по этому значению не применяется.

В фильтр передаю $GLOBALS["arrFilterSearch"]["SECTION_ID"] = $GLOBALS["arProfile"]["UF_NEWS_SECTION"]; Как вообще фильтр должен отработать, если такого SECTION_ID нет в массиве элемента? Вы зайдите в таблицу БД посмотрите там есть набор полей, которые можно менять под произвольные ключи там даже не предусмотрено joxi.ru/Y2Lj1e6s94Kodr. Про тоже самое мне и сапорт сказал.

Тех поддержка говорила именно про произвольные ключи, я им несколько раз говорил, что поиск по ним не требуется, они нужны только для фильтра.

> в результатах поиска этого значения у элемента нет
В результатах его вроде и не должно быть.

> В фильтр передаю $GLOBALS["arrFilterSearch"]["SECTION_ID"] = $GLOBALS["arProfile"]["UF_NEWS_SECTION"];
В фильтр какого компонента? search.page? Не правильно.

> Вы зайдите в таблицу БД посмотрите там есть набор полей, которые можно менять под произвольные ключи там даже не предусмотрено.
Зашел. Посмотрел. Есть: joxi.ru/KAgJ7N6u4BWXe2

Александр Маджугин, Во теперь и у меня появилось не туда вставлял)) Теперь как то можно по этим параметрам фильтр применить в CSearch::Search()?

sergafon, в первый параметр у вас должно попадать нечто вроде:

[
            "QUERY" => Поисковй запрос,
            "SITE_ID" => Id сайта,
            "PARAMS" => [SECTION_ID => id раздела]
        ];

Сейчас пытаюсь заставить работать фильтр в search.page в коде компонента посмотрел FILTER_NAME объединяется с фильтром передаваемым в функцию поиска.

Сделал так

$GLOBALS["arrFilterSearch"] = array(
        "LOGIC" => "OR",
        "PARAMS" => array(
            "!SECTION_ID" => array_merge($GLOBALS["arProfile"]["UF_NEWS_SECTION"], $GLOBALS["arProfile"]["UF_VIDEO_SECTION"])
        )
    );

Не хочет срабатывать

"LOGIC" => "OR", там зачем?

Сначала попробуйте SECTION_ID == одному id - убедитесь что работает на самом простом случае.
перед самым исползованием метода добавьте die с print_r чтобы увидеть состояние фильтра который реально попадает в Search

Александр Маджугин, В фильтр приходит Array ( [PARAMS] => Array ( [!=SECTION_ID] => 43 ) [SITE_ID] => s1 [QUERY] => dota [TAGS] => ) 1, "LOGIC" => "OR" убрал, вообще ни одного элемента не возвращается ни так[!=SECTION_ID] => 43 ни так [SECTION_ID] => 43

В базе в таблице есть результаты с SECTION_ID 43?

Александр Маджугин, да щас попробовал фильтр не срабатывает из-за отрицания, если отрицание убрать он ищет по массиву переданных ид, но вся фишка в том что мне надо именно исключать указанные разделы

Александр Маджугин, огромное спасибо за помощь!) Очень выручили) По поводу фильтра завели тикет, видимо очередной баг битрикса.