NVIDIA випустила ранню версію Chat with RTX – демонстраційної програми, призначеної для запуску особистого чат-бота зі штучним інтелектом на локальному комп’ютері.

Технічні вимоги

Для запуску Chat with RTX на локальному ПК буде потрібна відеокарта серій RTX 30-ї або 40-ї з як мінімум 8 ГБ відеопам’яті. Установка чат-бота на комп’ютер із процесором Intel Core i9-14900K та відеокартою RTX 4090 займає близько 30 хвилин.

Розмір програми складає близько 40 ГБ, а екземпляр Python займає близько 3 ГБ оперативної пам’яті.

Користувачі отримують доступ до Chat with RTX через браузер, в той час як командний рядок працює у фоновому режимі, відображаючи інформацію про поточну обробку та коди помилок.

Що вміє чат-бот з ШІ від NVIDIA?

Цей чат-бот може обробляти відео з YouTube та документи користувача для створення короткого змісту та релевантних відповідей на основі наданих даних. Ця функціональність може бути корисною для журналістів, студентів та всіх, хто працює з великим обсягом документів.

Наприклад, при надсиланні посилання на відео YouTube у Chat with RTX, користувач може шукати конкретні згадки у відео або отримувати короткий зміст. Це також корисно для пошуку потрібних фрагментів у подкастах. Важливо відзначити, що чат-бот не зберігає контексту, тому наступні питання не можуть бути засновані на контексті попередніх.

Chat with RTX також може сканувати PDF-файли та отримувати необхідну інформацію для користувачів. Відповіді надаються практично миттєво завдяки використанню ядер NVIDIA Tensor GPU для прискорення обробки запитів.