Имею в виду, по сравнению с коммерческим чат-ботом от openai. Будет медленно и только в текстовом формате. Картинки не примет.
А, ну это лучше, чем минималка на 4 ГБ. Минимальная база данных довольно несвязно генерит тексты.
Ага, как писал выше, у меня без видеокарты пара Xeon 2667v4 генерят на 30B 10-15 слов в секунду, на 13В вроде в два раза быстрее, но не для всех запросов. На Xeon получается быстрее, чем на intel 12900. На ноуте или 2-4 ядерной рабочей машинке всё будет весьма медленно. Как придут купленные на мегараспродаже пара 14-ядерных 2690v4 - отпишусь...
ээ,