Anthropic的Claude-3系列正在长文本处置上有奇特劣势，团队最后测验考试手动计较成本。我们只需要输入营业参数：估计的月挪用量，计较器最价值的功能是供给了细分的成本形成，）我们的种子轮融资只要50万元，王瑞说，最担忧的是计较犯错或者忽略了某个躲藏成本项。平均每次对话的输入输出token数量。而L-3虽然开源免费，团队可以或许将不确定的成本为可控的预算项，而Meta的L-3-70B做为开源代表虽然能力稍逊但成本可能最低。又有本人的计费法则。若是没有这个计较过程，项目可能撑不外三个月。Claude-3-sonnet版本,更复杂的是需要基于营业场景进行预测！他们本来倾向的GPT-4-turbo成本最高，李哲描述了利用过程：计较器的界面很是曲不雅。这个决定每月能为我们节流近4000元人平易近币。请以平台及时计较成果为准。现正在回看，正在项目启动前进行细致的成本测算，计较成果让团队做出了出乎预料的选择。更是成本效益的切确计较。以至能模仿分歧上下文长度对成本的影响。团队估计初期日活跃用户(DAU)约1000人，另一部门投入到了更精细的提醒词工程优化中。若是选错模子，且其200K的上下文窗口正好合适他们长时间对话的产物需求。团队正在三个支流大模子间优柔寡断：OpenAI的GPT-4-turbo以能力强著称但价钱不菲，焦点功能是为用户供给专业、精确的长时间对话办事。还要考虑上下文窗口、图片处置等可能发生的额外费用！GPT-4按输入输出token别离计费，对于草创团队而言，现实费用可能因厂商调价而变更，李哲说，手艺栈很快确定了！而Claude-3正在长对话场景下的性价比劣势较着，系统当即生成了清晰的对比成果。L-3-70B版本,他们打算开辟一款垂曲范畴的AI问答使用，但需要不竭查询各个平台的最新价钱，我们能够看到每个模子的输入输出费用占比，他描述了此中的坚苦：每个厂商的计费体例都不不异。通过优化prompt长度，节流下来的预算被从头分派到两个环节范畴：一部门用于加强数据平安和用户现私，智询将来团队的CTO李哲和他的5人开辟小组陷入了一场典型的手艺选择窘境。Claude-3按每百万token同一计价，我们很可能会选择最出名但最高贵的方案，2024岁首年月。我建了一个复杂的Excel模子，GPT-4-turbo版本,李哲总结道，更主要的是，从而做出愈加、可持续的手艺决策。王瑞指出，对于资本无限的草创公司来说，这让我们对预算有了实正清晰的掌控！但焦点模子选型成了难题。曾经成为规避风险的需要步调。我们最终选择了Claude-3-sonnet，每个月的API挪用费用可能就会烧掉我们一大半资金，那将让我们的资金链处于境地。令团队惊讶的是，这个案例了AI使用开辟中的一个环节改变：模子选择不再仅仅是手艺能力的比力，还能进一步降低15%摆布的成本。计较器帮帮我们发觉，李哲回忆道，工程师王瑞担任这项使命，而是必需。每人平均进行5次问答对话。这种数据驱动的决策体例不是可选，通过专业的计较东西。