Материал раздела Основной
Современные нейросети работают на базе больших языковых моделей (LLM — Large Language Models). Это одна из разновидностей искусственного интеллекта, ключевая особенность которой — обучение на больших массивах данных и способность генерировать текст и другой контент на их основе.
Крупные модели вроде ChatGPT от OpenAI и других подобных довольно универсальны: их «учебником» выступают терабайты разрозненных данных, поэтому они могут и ответить на вопрос, что такое фламинго, и поддержать беседу на свободную тему.
Однако при желании любой LLM можно дать специализацию. Например, если модель получит данные о продукции компании и указание общаться в официально-деловом стиле, то она сможет давать консультации по ассортименту и т.п.
Процесс тонкой настройки LLM для решения конкретной задачи происходит при помощи файн-тюнинга или промпт-тюнинга. Промпт-инженер берет уже готовую модель и учит ее отвечать на вопросы, связанные с определенной сферой.
Но есть проблема: по определению LLM недетерминированы — не выдают предопределенный результат, как это делает, например, функция в программировании при условии правильного ее написания. Поэтому их сложно оценить. Но возможно.
Бенчмарки LLM — критерии, по которым можно понять, подойдет ли конкретной компании конкретная нейросеть. Они позволяют оценить такие «навыки» моделей, как ответы на вопросы и логические рассуждения.