Прямо сейчас, вокруг того, на что нужно смотреть дальше в мире LLM. Должен ли разработчик играть с существующими моделями, расширять существующие модели или создавать эти модели с нуля? После обновления моего поста об использовании локальных моделей с Ollama я подумал, что переключу облачную структуру для этого поста.
Replicate-это облачная платформа, которая позволяет пользователям легко запускать и настраивать различные модели ИИ с открытым исходным кодом. Они утверждают, что около 20 000 моделей с открытым исходным кодом доступны, в том числе (неизбежно) DeepSeek. Но каков процесс использования любой из этих моделей?
Прежде всего, нам нужно присоединиться к Replicate, и, возможно, нанести немного денег для запуска моделей. Я замечаю, что есть игровая площадка, поэтому я пойду прямо к этому. Игровая площадка почти всегда является хорошим признаком для указания того, что фреймворк пытается сделать себя доступным.
Как становится все более распространенным, вы входите исключительно с GitHub:
Учитывая, что мы используем облачные модели, следующая важная вещь — это контроль:
Без вышесказанного это было бы сложнее оценить затраты. Но если вы читаете внимательно, вы все равно можете получить небольшую перегрузку. Это вряд ли превысит цену чашки кофе; Но вместо ежемесячных ограничений расходов они должны разрешить авансовые платежные кредиты.
Игровая площадка (которая является бета -версией), кажется, сейчас весит на создание изображений и видео — и на самом деле это самые сложные вещи, с которыми можно экспериментировать.
Тот факт, что мобильные устройства даже считаются, говорит вам, как быстро движутся вещи.
Итак, как нас приглашают сделать, давайте начнем. Существует около 20 моделей видео и изображений, которые можно начать, не дефолт на это:
Мы все видели много решений для текста до изображения, поэтому видео интересно.
По какой -то причине я попросил видео с ящиками с укладыванием дельфинов. Мы можем выбрать высоту и ширину видео (максимум 1280 пикселей). Вы также можете выбрать количество кадров (до 200). Я доволен по умолчанию 129.
Вы можете выбрать двойной уровень от 1 до 10. При более высоких значениях он становится более творческим, игнорируя исходное изображение. (Диффузионные модели генерируют изображения путем постепенного уточнения изображений на основе шума). Наконец, мы можем контролировать кадры в секунду (FPS), не выполняя 24. Для сравнения, игры любят работать со скоростью около 60 кадров в секунду, чтобы выглядеть гладко.
Все это может быть представлено как следующий запрос Python:
Импорт Replicate output = replicate.run («tencent/hunyuan-video», input = {«upedded_guidance_scale»: 6, «fps»: 24, «Высота»: 480, «infer_steps»: 50, «Приглашение»: «Dolphin Укладывание ящиков «,» video_length «: 129,» width «: 864}) print (output) 12345678910111213141516 Импорт репликат = репликат. : 24, «Высота»: 480, «adfer_steps»: 50, «Приглашение»: «Ящики с укладкой дельфина», «Video_length»: 129, «Ширина»: 864}) Печать (Вывод)
Когда мы просим запустить модель, мы получаем вращающийся значок, но в противном случае нет никаких дальнейших показаний. Я получил время творения и статус «запуска». Но больше ничего. По сути, запрос «в очереди».
Однако, когда я копался в «полном прогнозировании», я получил все, что хотел:
Мы видим журналы связи сервера и ползунок процента до полного. Наконец, я получил 5 секунд дельфина, играющего на некоторых синих ящиках. Учитывая, что у дельфинов нет противоположных больших пальцев, это прекрасное представление.
И, конечно же, хотя и не свободно, это не сломало банк,
Последний вывод JSON поучительен и хорошо построен:
{«refled_at»: «2025-01-30t15: 46: 02.616901z», «create_at»: «2025-01-30t15: 38: 40.721000z», «Data_Removed»: False, «ошибка»: null, «ID» : «mpnsqxjat5rme0cmpzesjjnhrr», «input»: {«fps»: 24, «ширина»: 864, «высота»: 480, «Приглашение»: «Укладывание дельфинов», «infer_steps»: 50, «Видео»: 129 , «Embedded_Guidance_scale»: 6}, «Журнал»: «[Cut for length]«Метрики»: {«прогноз_ времени»: 123.354543706, «total_time»: 441.895901}, «Вывод»: «starm_at»: «2025-01-30T15: 43: 59.262358Z», «Статус»: «Утвердил», », 43: 59.262358Z« Статус »: URLS «: {» Stream «:» get «:» «Отмена»: «},» Версия «:» 6C9132AEE14409CD6568D030453F1BA50F5F3412B844FE67F78A9EB62D55664F » 2324252627282930 {«reflect_at»: «2025-01-30t15: 46: 02.616901z», «create_at «:» 2025-01-30T15: 38: 40.721000Z «,» DATA_REMOVE «: FALSE,« Ошибка »: NULL,« ID »:« MPNSQXJAT5RME0CMPZESJJNHRR »,« Вход »: {« FPS »: 24,« Width »:: 864, «Высота»: 480, «Приглашение»: «Ящики с укладыванием дельфинов», «infer_steps»: 50, «video_length»: 129, «Embedded_guidance_scale»: 6}, «журналы»: «[Cut for length]«Метрики»: {«прогноз_ времени»: 123.354543706, «total_time»: 441.895901}, «Вывод»: «starm_at»: «2025-01-30T15: 43: 59.262358Z», «Статус»: «Утвердил», », 43: 59.262358Z« Статус »: URLS «: {» Stream «:» «Get»: «» Cancel «:»}, «версия»: «6C9132AEE14409CD6568D030453F1BA50F5F3412B844FE67F78A9EB62D5564F»}
Обратите внимание, что задание имеет связанный идентификатор, как оно упоминается в пользовательском интерфейсе.
Но важно то, что мы можем свободно настроить модель после ее создания. Я просто попрошу оранжевых ящиков в настройке. Теперь интересно то, как сейчас будет проделана работа и за какую стоимость. Нам говорят, что эта модель сейчас находится в другой версии.
Процесс был действительно короче, выйдя через две минуты:
В завершении JSON более точно указано время, проведенное:
{«reftle_at»: «2025-01-31t14: 05: 41.469428Z», «create_at»: «2025-01-31t14: 01: 32.512000Z», … «Starty_at»: «2025-01-31T14: 03 : 38.143858z «, …} 1234567 {» refled_at «:» 2025-01-31t14: 05: 41.469428Z «,» create_at «:» 2025-01-31t14: 01: 32.512000Z «, …». «:» 2025-01-31T14: 03: 38.143858Z «, …}
Я думаю, что дифференциация между «запущенным» и «созданным» — это когда ваш запрос снят из очереди и работает над. Такие услуги, как Midjourney, дают вам определенное количество «приоритетного» времени, которое может быть способом демистифицировать этот аспект.
В то время как в видео дельфин обрезал ящики, а ящики выглядели несколько странно, базовая функциональность, похоже, сработала. Мой запрос был очень простым.
Проверка счета, стоимость была примерно такой же, как и раньше:
На самом деле, они быстро отправили мне электронное письмо после того, как был потрачен первый доллар, что было разумным.
Заключение
Я ограничился игровой площадкой, которая находится в бета -версии, но репликация показывает признаки того, что он довольно сложная система. Мне нравится тот факт, что он показывает вам, как преобразовать любой запрос, который вы выполняете в форме в Python или Node, и т. Д.
Прямо сейчас некоторые из определений не совсем ясны (является ли «настройка» «настройки», что именно было версировано, и отношения между одной версией и другой), и я надеюсь, что все их мультимодальные модели в конечном итоге попадут на детскую площадку. Если они бдительны, то я подозреваю, что конечным пользователю будет в порядке, но фиксированные суммы кредита все равно будут разумными.
Победа здесь заключается в том, что вы можете изучить так много моделей управляемым образом, сохраняя при этом разработчика подключенным к процессам и коду бэкэнд.
Trending Stories youtube.com/thenewstack Tech движется быстро, не пропустите эпизод. Подпишитесь на наш канал YouTube, чтобы транслировать все наши подкасты, интервью, демонстрации и многое другое. Группа подпишитесь с эскизом. Дэвид был лондонским профессиональным разработчиком программного обеспечения в Oracle Corp. и British Telecom, а также консультантом, помогающим командам работать более гибким образом. Он написал книгу по дизайну пользовательского интерфейса и с тех пор пишет технические статьи …. Подробнее от Дэвида Истмана
