Edgee：能將代幣進行TL;DR的AI閘道

Edgee

TL;DR 代幣的 AI 閘道

46 位追蹤者

TL;DR 代幣的 AI 閘道

46 位追蹤者

您覺得如何？…

Typeform

身為一位獨立駭客，我總是害怕收到一張昂貴的帳單，因為我的 AI 功能突然湧入大量使用。任何可以幫助降低成本並讓我了解發生什麼事的東西，都非常受歡迎。從第一天開始使用它，並立即看到價值，是理所當然的。恭喜 @sachamorard 團隊打造了這個💪

非常感謝 @picsoung 的支持 🙌

完全同意！那種「意想不到的 AI 帳單」恐懼是真實存在的，尤其是對於獨立駭客和小型團隊來說，一次高峰就可能毀掉一個月 😅

這正是我們打造 Edgee 的原因：讓您可以從第一天起就獲得成本可見性和優化（例如代幣壓縮），在事情失控之前。

非常感謝您尋找並分享這個。很高興聽到您用它來打造什麼！ 🚀

@sachamorard @picsoung 我們從在歐洲和美國交談過的幾乎每位 CTO 和 CEO 那裡都聽到了這種說法。月底的帳單可能是一個真正的震驚！ 💸

Plezi

恭喜發布！我們一直困擾於如何將 LLM 成本歸因於特定功能。Edgee 是否會標記請求，以便我們可以追蹤每個功能的成本？

您好 @benoit_collet，感謝您的興趣！問得好，這是我們經歷過的一個痛苦，成本只能通過 API 金鑰進行分析，這可能很痛苦，因為您可能不想僅僅為了成本分類的目的而擁有 50 個不同的金鑰。我們創建了「標籤」功能，允許您（通過 API 標頭或通過我們的 SDK）自動定義類別。標籤將在您的分析儀表板中可見，讓您可以準確了解您在哪裡花費最多！您可以在我們的文件中了解更多資訊：https://www.edgee.ai/docs/integrations/langchain#tags

我發送的文件是我們 Langchain SDK 的一部分。此文件更深入地介紹了標籤的真正含義

Inyo

作為代理平台領域的產品人員，我肯定會密切關注這個。祝您發布順利！

@yannick_mthy 代理領域正是我們看到事情快速變得有趣（和複雜）的地方，尤其是在上下文大小、工具調用和多模型協調不斷增長的情況下。

很想聽聽您目前如何在代理端處理成本 + 路由。總是渴望向在這個領域構建的團隊學習。謝謝

嗨 Product Hunt 👋

我是 Edgee 的共同創辦人 Sacha。感謝您查看我們！

我們打造 Edgee 是因為我們一直看到同樣的事情：

AI 成本正在瘋狂上漲！！！LLM 很容易嘗試，但一旦您將它們投入生產，成本就會爆炸，可靠性也會變得一團糟。

大多數團隊從直接調用 OpenAI 或 Anthropic 開始…或者只是使用編碼助手…然後很快就會遇到：

• 不可預測的代幣支出
• 多個供應商 API
• 中斷/速率限制
• 安全和隱私限制
• 並且團隊之間沒有真正的可觀察性

Edgee 是一個 AI 閘道，旨在降低 LLM 成本並簡化生產推理。它為您提供跨供應商的單個與 OpenAI 相容的 API，以及圍繞推理的智慧層：

✅ 代幣壓縮，以消除冗餘代幣並降低成本，且不會造成語義損失
✅ 跨供應商的路由和後備
✅ 您可以信任的可觀察性 + 成本追蹤
✅ 隱私和安全控制（ZDR、BYOK...）
✅ 支援公共 + 私有模型，
✅ & Edge Tools 🚀

我們正在早期發布，並與一小群設計合作夥伴密切合作，因此回饋（即使是殘酷的回饋 😅）意義重大。

很高興在這裡回答任何問題，我很想聽聽您今天如何在生產中處理 LLM 基礎架構！

Sacha

PhotoRoom

恭喜發布！將密切關注，因為該主題複雜且變化迅速！

@olivier_lemarie1 謝謝！確實，一個非常令人興奮和具有挑戰性的主題，並且有很多東西可以探索和改進：D 我們很快就會發布一系列部落格文章，詳細介紹壓縮的所有細節和研究，敬請關注！

類似產品