Gally позволяет пользователю использовать:

[sadiksojib35]

множество моделей, которые уже доступны в качестве предварительно обученных моделей с OpenSearch: MiniLM, Distilbert, Mpnet…
любые другие доступные модели, если они соответствуют требованиям формата OpenSearch (PyTorch или ONNX).


В ближайшем будущем Gally также позволит база данных номеров телеграмм в грузии использовать внешние модели, такие как OpenAI, SageMaker, Claude, Mistral и т. д.

Затем выбранная модель построит векторное представление данных каждого продукта и сохранит его в индексе Opensearch для дальнейшего использования.

Обработка и извлечение запросов
Та же логика будет использоваться для запроса, заданного конечным пользователем. Этот запрос будет вычислен в векторное представление той же моделью, которая использовалась на этапе индексации.

Следовательно, при проведении поиска фоновая операция включает сравнение схожести внедрений, а не необработанных текстовых данных.

Сходство между вложениями вычисляется с помощью специального алгоритма, например KNN.

KNN, или k-ближайших соседей, — это алгоритм машинного обучения, используемый для задач классификации и регрессии. Он работает путем поиска k ближайших точек данных (векторное представление продуктов) в пространстве признаков к заданной точке запроса (векторное представление запроса).

Векторный поисковый запрос
Преимущества для Gally и его пользователей