Машинное обучение (ML) учит ИИ мыслить по-человечески. А значит, чтобы понять его, надо разобраться в трендах машинного обучения. О них рассказывает Михаил Смирнов, гендиректор компании «Системы компьютерного зрения» (входит в группу ЛАНИТ)
Этот материал входит в раздел «Технологии», в котором мы каждую неделю разбираем актуальные технологические тренды и публикуем прогнозы и рекомендации бизнесменов, IT-евангелистов и футурологов. Вы также найдете экспертные материалы о том, как стать продуктивнее, вывести бизнес на новый уровень и улучшить качество жизни с помощью технологий.
Большие языковые модели меняют подход к разработке
Разработчики ML-решений все чаще обращаются к моделям, обученным на больших массивах данных (самый известный пример — ChatGPT). Они быстрее и лучше масштабируются, более гибкие и «умные». Развитие больших языковых моделей играет важную роль в эволюции языкового и голосового ИИ наряду с генеративным. Сейчас компании широко используют эти модели в разработке.
Главное и самое очевидное преимущество — ускорение процесса разработки и поиска глубинных проблем в коде, из-за которых он может работать не идеально. Запрос к нейросети экономит несколько часов рабочего времени, которое программист обычно тратит на скроллинг страниц в Google или поиск ответов на форумах. Однако в текущей модели ChatGPT (в качестве помощника мы используем именно эту нейросеть) есть одно ограничение: запрос может состоять максимум из 30 тыс. токенов, то есть логических единиц текста. При общении с нейросетью одно слово может разбиться на несколько токенов: например, отдельными токенами могут считаться суффикс, корень и другие части слова. Когда разработчики ведут диалог с нейросетью, та не распознает, что с ней общается человек, и воспринимает каждый промпт (запрос) как абсолютно новый и не связанный с предыдущим. Для нейросети не существует связного диалога. А для того, чтобы его симулировать, нужно помимо последнего сообщения прислать еще все предыдущие. Это ограничение пока самое существенное, но ожидаю, что в следующей версии этой нейросети оно будет снято.
