Блог Аксенова

Как из РФ получить доступ к зарубежным моделям ИИ?

Не уехать из РФ, не оформить карту зарубежного банка, не рутануть андроид и не поставить патченный N.apk из HuyPizdaFreeAppStore…

Просто получаем доступ к топовым (и не только) моделям без вот этих петушинных движений, находясь в РФ и имея ≥ 0₽ в кармане.

Здесь не будет подробных обзоров на всё. Это справочник-шпаргалка. Описанное здесь либо бесплатное, либо за российские рубли с российской карты, как у нормальных людей.

Да, в некоторых случаях для доступа к моделям может потребоваться подмена российского IP. С этим сам справишься, этот секрет Полишинеля давно не является проблемой; для себя я давно её решил, так что в расчёт не беру.

Да, здесь есть и российские разработки: они не_плохие и местами пересекаются по решаемым задачам с популярными зарубежными или превосходят оные — зависит от задач и необходимостей.

Тему я рассмотрю в трёх главных аспектах:

  • веб-сервисы (обычные чаты в браузере);
  • провайдеры (к чему можно подключаться по API);
  • клиенты (чем можно подключаться по API).

Что упомянуто в посте:

  • знаю, что оно есть, оно рабочее, но сам ни разу не использовал (не понравилось, не пригодилось, не подошло, не …), либо
  • сам побаловался из любопытства и бросил, либо
  • сам использую для своих обывательских задач (работа с кодом, поиск и сбор специфической информации, крайне редкая генерация картинок).

Если тебе нужна нейронка для специфичной доменной области, генераторы видеороликов или ещё что-то хитрое, то эта страница вряд-ли тебе поможет.

Надо понимать, что вариантов существует намного больше, чем описано здесь, но составлять полный обзорный каталог здесь я не хочу

Пост буду изредка обновлять, ибо тема насущная, но что-то новое я пробую не часто.

Там, где упомянуто про платные тарифы, их можно оплатить за рубли напрямую без посредников. Если тарифы есть, но за рубли не купить, то я об этом и не упоминаю. Ссылки на приложения привожу только под Android, потому что мне повезло не вляпаться в экосистему Apple.

Веб-сервисы

С каким-то я общаюсь чаще, с какими-то реже, но все они годны и легко доступны из РФ без каких-то особых плясок.

Весьма щедящие ограничения. Периодически использую вместо гугла.

Чаты почти не использую, но в агентах квены показывают себя отлично.

Первая LLM, которая произвела на меня впечатление.

Социальная сеть, которая работает, по-видимому, на базе GigaChat от Сбера: создаёшь персонажа нужного типажа, характера и голоса, шаришь всем или общаешься с ним сам.

В общем, обычные ИИ-ассистенты, но густо обмазанные социальщиной, какими-то алмазиками, ачивками и прочей подростковой лабудой.

Это приложение появилось раньше, чем официальное от GigaChat, и тогда оно было чуть попроще, так что пользоваться было терпимо. Сейчас… ну, можешь, как минимум, попробовать.

На бесплатном тарифе немного устаревшие модели и 3 бесплатных премиум-запроса (что бы это ни значило).

  • Сайт: https://odna-podpiska.ru
  • Бесплатно: нет
  • Требуется VPN: нет
  • Авторизация: обязательна (Email)

Белорусские ребята. Вроде дают тучу топовых мультимодальных моделей на любые задачи за вменяемый прайс (посуточно или поштучно за вызов), но всех понемногу.

Сказать по опыту нечего, не пробовал.

  • Сайт: https://trychatgpt.ru
  • Telegram: https://t.me/chatgpt_try
  • Бесплатно: да (есть платные тарифы)
  • Требуется VPN: нет
  • Авторизация: обязательна (Яндекс, ВК, Email)

На бесплатном тарифе ограничения и реклама. Все модели только из семейства ChatGPT.

Ненавязчивый ТГ-бот без рекламы и шантажа с подписками на каналы. Во время беглого короткого теста каких-то ограничений или платных функций обнаружить не успел, но что-то такое должно быть. А как иначе?

  • Сайт: https://bothub.ru/main
  • Бесплатно: да (есть платные тарифы)
  • Требуется VPN: нет
  • Авторизация: обязательна (Яндекс, VK, Telegram, Apple, Email)

Какое-то что-то с чем-то зачем-то. Ограничения конские. Моделей много, тарифов много, принимают рубли. На старте доступны только модели ChatGPT. Своя псевдовалюта, на старте дают 30k т. н. «кэпсов», которые, в общем-то, бесполезны.

Что с этим делать не знаю, но я потрогал, ни черта не понял и плюнул, но оно есть и это можно зачем-нибудь попробовать.

  • Сайт: https://deepai.org
  • Бесплатно: да
  • Требуется VPN: нет
  • Авторизация: опциональна (Google, Email)
  • Сайт: https://app.reka.ai/chat
  • Бесплатно: да
  • Требуется VPN: нет
  • Авторизация: опциональна, но желательна (Google, Email)

Что-то странное, но рабочее.

  • Сайт: https://grok.com
  • Telegram: https://t.me/GrokAI (офиц. бот)
  • Бесплатно: да
  • Требуется VPN: да (для сайта)
  • Авторизация: опциональна, но желательна (X.com, Google, Apple, Email)
  • Сайт: https://chatgpt.com
  • Бесплатно: да
  • Требуется VPN: да (для сайта)
  • Авторизация: опциональна, но желательна (Google, apple, Microsoft, Email, телефон)
  • Сайт: https://flowith.io
  • Бесплатно: да
  • Требуется VPN: да
  • Авторизация: обязательна(GitHub, Google, X.com, Email)

Штука прикольная: ветки чата визуально отображаются в виде дерева, ты можешь продолжать диалог с любого места любой моделью и не терять информацию, а накапливать её на эдаком бесконечном холсте. Есть куча моделей и инструментов внутри.

Своя валюта на балансе, как в BotHub, но тут какое-то время можно жить полностью бесплатно, покрываясь щедрой рефералкой (бонусы не только тебе, но и приглашённой учётке).

  • Сайт: https://copilot.microsoft.com
  • Бесплатно: да
  • Требуется VPN: да
  • Авторизация: опциональна, но желательна (Microsoft, Google, Apple)
  • Сайт: https://github.com/copilot
  • Бесплатно: да
  • Требуется VPN: да
  • Авторизация: обязательна (Google, GitHub)

В отличие от предыдущего, этот предназначен для работы с кодом и гитхабом.

Провайдеры

Все, кроме последнего, я рекомендую от всей души, но под разные задачи.

Плюсы: open-source, бесплатно, безопасно, гибко (хоть через консоль, хоть через REST API), можно использовать для своих разработок, простая и понятная документация.

Минусы (субъективны и не зависят от ollama): чем круче модель, тем больше нужно оперативной памяти, места на диске и вычислительного железа. Но с маленькими моделями, примерно до 7b, можно поиграться на любом компе (скорость работы у них будет повыше, но качество ответа похуже). Это я говорю про локальные, но, кстати, туда недавно завезли Cloud-модели — их я не пробовал.

Вот сюда я положил список моделей, с которыми можно побаловаться на своих компах. На повседнев слабые модели подходят плохо (их лучше использовать для каких-то узких задач), поэтому часто просто балуюсь и изучаю всякое, но также я работаю над проектом, который строится именно на локальном стеке.

Важно:

  • только API, но поддерживается из коробки многими клиентами (остаётся только указать токен)
  • при создании токена явно указывать лимит = 0$
  • нужно использовать модели с префиксом :free (они позиционируются как нестабильные, с высоким временем ответа и всё такое, но на практике работают отлично)
  • лимиты сбрасываются в 00:00 UTC

Сугубо платный сервис, но даются бесплатные запросы на некоторые модели по суммам пополнения токена.

OpenAI-совместим.

Есть и дешёвые модели, и топовые. Отличные цены и документиация.

Можно использовать в тех клиентах, которые позволяют указать кастомный OpenAI API URL.

Важно:

  1. Пакетный ключ — API токен, покупать через https://t.me/HydraAI_Store_bot
  2. Код пополнения — для пополнения баланса токена, покупать через https://t.me/HydraAI_Store_bot
  3. Пополнить баланс токена через https://t.me/HydraAiAPIBot — сначала указать токен, потом код пополнения
  4. Не поддерживает стриминг!

При использовании агентов, я иногда трачу сначала бесплатные запросы на OpenRouter (хватит на простую задачу или на начало сложной), а потом продолжаю задачу через Hydra.

Очень хитрый провайдер. Очень неудобный и несуразный сайт. Очень странное ценообразование и терминология. Очень сумбурная документация и навигация в целом.

Все цены намного выше, чем в гидре, причём:

  • плюсом к цене инференса помесячная подписка на доступ к моделям разных категорий (разные тарифы);
  • цены на генерацию текста считаются не по 1 миллиону токенов, как у гетеросексуалов, а по 1 тысяче каких-то символов (это там так токены называются или буквально символы считают?)

Ограничение на всех тарифах (кроме FAST) — 1 rps.

Есть какие-то собственные сервисы для использования всех этих моделей прямо на сайте (разумеется, с твоим API-токеном).

Зато моделей в 2 раза больше, чем в гидре, поэтому приемлемую за вменяемые деньги таки можно найти. Есть топовые известные проприетарные, open-source, для генерации/изменения картинок, генерации музыки/видео/голоса/OCR. Есть рефералка.

Много одинаковых моделей, которые тарифицируются по-разному, например, недорогой вход/выход, но сам запрос платный.

Нет желания даже пробовать.

Клиенты

Десктопные

Да, опять. Но теперь я имею в виду консольку. Пишешь ollama run %имя_модели% и погнал чатиться. Есть встроенная помощь по командам, например, можно установить системный промпт.

Универсальный open-source веб-сервис для самохостинга. Можно поднять рядом с Ollama, подключить сторонних провайдеров. Можно сделать какое-то подобие RAG и скармливать моделям разные знания. Можно создавать своих ассистентов и мн. др.

Очень мощный, но для новичков может оказаться и очень сложным.

Есть какие-то дополнения, поддерживаемые сообществом, но не изучал (требует учётку).

Гуйня от китайцев — кроссплатформенное open-source десктоп-приложение, по функционалу не уступает Open WebUI, но попроще для освоения. Поддерживает из коробки рекордное много провайдеров.

Приложение для работы с локальными моделями. Работает на 100% в браузере и не требует установки, Ollama ему не нужна.

Stand-alone приложение для десктопа. Неплохая среда для запуска локальных моделей. Функционал жирненький, можно запускать локальный сервер OpenAI-compatible API с доступом по сети.

Сторонние провайдеры API не поддерживаются, всё замыкает в себе.

При запуске Appimage следует указывать --no-sandbox, чтобы избежать ошибки The SUID sandbox helper binary was found, but is not configured correctly...

Stand-alone приложение для десктопа. Симпатичная гуйня, весь базовый функционал в бесплатной версии доступен. Можно готовить персон (настроенных ассистентов), примитивный RAG, и всякое такое. Разобраться легко, поддерживает Ollama и сторонних провайдеров.

При запуске Appimage следует указывать --no-sandbox, чтобы избежать ошибки The SUID sandbox helper binary was found, but is not configured correctly...

FOSS веб-приложение, которое, как и Open WebUI, можно стартовать в контейнере. Классическая гуйня, похожая на десятки других. Ничего нового и необычного.

Достаточно простое приложение от братьев китайцев, доступно как Appimage или в браузере.

Какая-то несуразная софтина. Кастомный провайдер настраивается хреново.

Устанавливается через жопу: документация для этого предлагает использовать скрипт, который творит тучу всякого, нор практика показывает, что нихрена это всё не помогает. Зато там же есть прямой URL для скачивания Appimage, что необходимо и достаточно.

При запуске Appimage следует указывать --no-sandbox, чтобы избежать ошибки The SUID sandbox helper binary was found, but is not configured correctly...

Есть клиенты и под другие платформы. Неплохая минималистичная штучка, но с богатыми настройками. Может стартовать свой сервер OpenAI-compatible API.

Примитивный клиент для Ollama под Ubuntu. Ничем не интересен, но он есть и его можно использовать.

Android

Приложения, которые могут работать не только с удалёнными провайдерами, но и самостоятельно запускать модели прямо на устройстве.

Open-source клиент для локального запуска моделей на устройстве (короткий обзор). Можно настраивать параметры генерации, создавать своих ассистентов и отправлять картинки.

Есть свой бенчмарк, можно опубликовать результаты в общий рейтинг.

Есть интеграция с huggingface.co, можно загрузить модель из файла. С версии 1.11.0 интегрирован с https://palshub.ai (эдакий маркетплейс ассистентов). На данный момент их мало — видимо, только недавно запущен.

Пока лучший из всех мобильных.

Open-source клиент, очень прост. Переписка возможна только текстовая. В плане настроек не очень: ассистентов создавать нельзя, системный промпт задаётся для провайдера вместе с моделью.

Лучший для простых задач.

Open-source клиент для работы с Ollama и некоторыми другими провайдерами (в т. ч. OpenAI-совместимыми). Поддерживает несколько провайдеров (в т. ч. OpenAI-совместимые) и загрузку моделей из файлов.

В плане настроек тоже тухленько, интерфейс для совсем непривиредливых. Только текстовая модальность.

Симпатичное и удобное приложение для локального запуска небольших моделей. Доступна настройка параметров генерации (температура и пр.), но модальность тоже поддерживается только текстовая.

Минималистичное open-source приложение для работы с сервером ollama, других провайдеров нет. По настройкам богатое, вроде даже поддерживает мультимодальные модели.

У меня там постоянные проблемы с вызовом клавиатуры в диалоге, поэтому рекомендовать не могу.

Плагины для разработки (автокомплит, агенты)

Сайт:

Open-source. Регистрироваться не пытался, отлично работает с другими провайдерами.

Мой фаворит. Open-source. Форк Cline. Гуйня слегка скорректирована и немного удобнее. Регистрироваться не пытался, отлично работает с другими провайдерами.

Open-source. Ещё один форк, но уже непонятно, то-ли от Cline, то-ли уже RooСode… По крайней мере, на второй похож сильнее, но тоже со своими мелочами.

Из замеченного, в гуйне проще переключать модель отдельно от режима и провайдера.

В JB завести с полпинка не удалось, и не разбирался.

Open-source. При наличии учётки можно полностью настраивать через веб-гуйню.

Российский проприетарный форк Continue. Пока не пробовал, хотя в целом вроде хвалят.

Запустились относительно недавно, поэтому пока сервис работает бесплатно целиком и полностью, со всеми моделями, в т. ч. свежими топовыми (а их завозят почти сразу после релиза). Но ещё встречаются баги, которые мешают работать.

После стабилизации обещают ввести платные тарифы, оставив некоторые модели бесплатными.

Поддерживает сторонних провайдеров.

  • Сайт: https://gigacode.ru
  • Бесплатно: да
  • Требуется VPN: нет
  • Авторизация: обязательна (SberID, Cloud.ru)

Изумительно работает в качестве автодополнятора и собеседника.

Режим агента пока отсутствует, но обещан. Ставится мимо штатных маркетплейсов, но есть отличный мануал.

Поддерживает тучу провайдеров, гуйня неудобная, рабоатет отвратительно, геморрой с настройкой:

  1. ставишь его + MCP Server
  2. File | Settings | Other Settings | AI Coding — настраиваешь провайдера
  3. File | Settings | Tools | MCP Server — Enable MCP Server
  4. в сайдбаре на панели AI Coding ищешь MCP — Add manually и вставляешь:
{
    "mcpServers": {
        "jetbrains": {
            "url": "http://localhost:64342/sse",
            "disabled": false
        }
    }
}
  1. сохраняешь — возле названия должна загореться зелёная точка

Дальше создаёшь агента и указываешь этот mcp-сервер для него.

Бонус

  1. Магазины:

Там можно найти подписки на конкретные сервисы (ChatGPT, Perplexity…) за весьма недорого. Поиск поможет, ищется легко, цены разные.

  1. Облачные провайдеры:

Эти ребята могут быть разными: кто-то даёт доступ сразу к готовым моделям, кто-то может дать ресурсы для их самостоятельного деплоя; где-то упор на лёгкий доступ (оплатил, получил токен и погнал), а где-то можно ещё и обучать свои модели. Смотря что нужно.

Но надо учитывать, что хостятся они на железе внутри РФ в целях соблюдения 152-ФЗ, а это значит, что цены там будут в разы выше, чем у «перекупов».

  1. Ещё немного странные варианты:
    • Мегафон
    • T2 (какая-то своя балалайка, инфы мало)

Ну камон, кто сегодня пользуется экосистемами ОпСоСов?

  1. Оформить зарубежную банковскую карту за рубли

Разумеется, можно напрямую пойти или поехать в неподсанкционные банки СНГ (например, говорят, кыргызский Бакай наиболее лоялен и выгоден для граждан РФ), но рекомендовать такое не могу. С некоторой опаской отношусь к таким идеям: главным образом, из-за бюрократии, курсов и комиссий.

А можно найти посредников вроде WantToPay с более простым простым доступом и/или выгодными тарифами.

Так или иначе, тот или иной вариант может (не) подойти для редких платежей просто потому, что зарубежные сервисы (в т.ч. платёжные) умеют проверять не только номера карт.

Виджет для быстрого управления моделями сервера Ollama.

Установить: https://store.kde.org/p/2196368/

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Больше записей

1C Битрикс Android API bash CentOS Delphi Docker Dropbox FOSS git gitea Google Hasee KDE Plasma Laravel Linux MySQL php PHPStorm Quake RAD Studio SSH Syncthing Ubuntu Windows Windows 10 Wordpress ВКонтакте Вейпинг Велосипед Девайсы Железо Информационная безопасность Музыка Ноутбук Перевод Разработка Реальность Резервирование Ремонт Русификация СМИ Софт Флейм Фотография и фототехника