Компания Apple представила сразу восемь языковых моделей с открытым исходным кодом под общим названием OpenELM (Open-source Efficient Language Models). Эти нейросети обучались на открытых данных (в том числе на источниках в GitHub) и могут запускаться непосредственно на мобильных устройствах, а не в облачном data-центре. Для этого модели были оптимизированы: они используют от 270 млн до 3 млрд параметров. Для сравнения, аналогичные модели Phi-3, предложенные Microsoft, используют 3,8 млрд, а большая языковая модель GPT-3 от OpenAI — 175 млрд параметров.
Также Apple выложила в открытый доступ протоколы обучения OpenELM. Новые модели можно загрузить с платформы Hugging Face, на которой разработчикам доступны уже более 350 тыс. моделей и более 70 тыс. наборов данных. Компания заявляет, что открытый исходный код позволит минимизировать риски ошибок или искажений и в данных, и в самих моделях.
Функции языковых моделей, по обещаниям главы Apple Тима Кука, должны появиться на самих устройствах до конца 2024 года. То, что они могут запускаться локально, сразу на iPhone или Macbook, обеспечит бóльшую защищенность данных и более высокую скорость работы. Предполагается, что эти модели смогут работать даже без доступа в интернет.