NVIDIA выпустила чат-бот Chat with RTX для запуска с ПК и обработки большого объема документов

NVIDIA выпустила раннюю версию Chat with RTX — демонстрационного приложения, предназначенного для запуска личного чат-бота с искусственным интеллектом на локальном компьютере.

Технические требования

Для запуска Chat with RTX на локальном ПК потребуется видеокарта серий RTX 30-й или 40-й с как минимум 8 ГБ видеопамяти. Установка чат-бота на компьютер с процессором Intel Core i9-14900K и видеокартой RTX 4090 занимает около 30 минут.

Размер приложения составляет около 40 ГБ, а экземпляр Python занимает около 3 ГБ оперативной памяти.

Пользователи получают доступ к Chat with RTX через браузер, в то время как командная строка работает в фоновом режиме, отображая информацию о текущей обработке и коды ошибок.

Что умеет ИИ от NVIDIA?

Этот чат-бот может обрабатывать видеоролики с YouTube и документы пользователя для создания краткого содержания и релевантных ответов на основе предоставленных данных. Эта функциональность может быть полезна для журналистов, студентов и всех, кто работает с большим объемом документов.

Например, при отправке ссылки на видео YouTube в Chat with RTX, пользователь может искать конкретные упоминания в видео или получать краткое содержание. Это также полезно для поиска нужных фрагментов в подкастах. Важно отметить, что чат-бот не сохраняет контекст, поэтому последующие вопросы не могут быть основаны на контексте предыдущих.

Chat with RTX также может сканировать PDF-файлы и извлекать необходимую информацию для пользователей. Ответы предоставляются практически мгновенно благодаря использованию ядер NVIDIA Tensor в GPU для ускорения обработки запросов.