🧠
Запустил собственный PII-фильтр перед облачными моделями и отказался от идеи селф-хостед LLMЗа последние два месяца я протестировал RTX PRO 6000 96GB, RTX4090 48GB и даже H200, оценивая их для использования в качестве селф-хоста. Затем я купил RTX5070ti и V100 32GB и провел множество тестов (включая свои собственные). Когда я заметил резкий рост цен на оборудование и утечки персональных данных к провайдерам LLM, я начал искать актуальные варианты для себя. Нашел интересный open-source вариант, настроил его и переключил на режим enforce, считая вопрос решенным. Однако, двигаясь дальше, я понял, что ошибался, но эта ошибка позволила мне найти более надежное решение.
#AI #ChatGPT
Читать продолжение в источнике →