以下是专家观点。
Patrick：请问专家寒武纪产品的性能表现如何？和主要竞争对手的对比情况？
专家：2月份左右拿到的卡，3月份安排了测试，590的单卡和8卡通过Llama2-7B/13B模型去跑了一下训练和推理。整体指标层面来讲，是通过了验证，在特定的7B/13B没有经过特定训练调优的情况下，参数以A100为1，在部分场景当中能够达到85-90%，在一些小场景下可以更高。在后续会在7月底或8月初入库1000多张590看其组网的情况，但是按照现在的叙事逻辑来讲，和A100的对比来说还可以，结论是寒武纪支持BF16，不支持FP8；物理机的实测数据基本上能够与寒武纪提供的性能参数对齐，相差在5%以内；寒武纪MLU590-M9端到端的训练，Llama2的性能是略低于A100，大概是相当于A100的80-85%，推理侧的表现还可以。后续展望全年590的订单，包括上周对H20的影响，590订单有可能是从4-5千张的产能预算和计划数增加到1万张，但这完全取决于寒武纪台积电版本的卡的供应情况。国产卡方面，公司已经在推动立项，应该会在今年的8月份到9月份拿到阉割版或者说国产制程的寒武纪590来测，在今年Q3还需要测完XX和910C，以及有可能会测试海光的E100。现在已经测完了海光的K100-AI，按照我们的测试指标来说，海光在K100-AI这边做一些定向的调优，在大尺寸模型的推理层面，70B的Llama做推理的性能表现是超预期的。590一定会买。910C和XX应该也会有采购量。海光的E100个人认为也是值得期待的，但市场上传闻可以跟H100做对比的话应该是做不到的，可能会比910B强一点，毕竟设计比较晚。另外补充寒武纪的一点是，目前是认可其实测单卡的结果，但是对其集群的表现不抱有太大的期待，因为本来也不用它做训练，主要可能还是在于它的供应侧的情况，如果确认供应没有问题，对它的采购量可能会再稍微多一点。对于明年的采购量现在还没有结论，按照大厂的决策链和逻辑来说，现在最多是预测，但真正确认需求一定是在10-11月份，或者等到12月份，各个部门报需求，汇总需求，然后再去做统一的测算。因为在模型端存在很大的不确定性，不确定模型这一侧的业务能够有多大的收入和体量，至少在Q4才会有一个比较明确的结论。
Patrick：如何看待今年和明年寒武纪芯片的出货量？
专家：整个市场来看，个人认为可能最多不超过6-7万张。寒武纪的卡有可能会满产满销，今年是卡缺，明年可能形势逆转，变成卡不缺但缺客户。今年对于所有国产卡的需求逻辑都差不多，只要能够量产出来，基本上都有人接盘，但明年的逻辑就变成根据业务的需求决定卡的量。现在国内英伟达的卡就明显出现了这个问题，没有下游客户。比如市场上现在H800的购买价格在230-240万，租赁价格已经跌到了6.6-6.7万。从去年年中到今年年中这一年的时间范围内，在任何的时间节点介入到GPU的租赁上，除非快进快出，否则很难赚钱。这一年的时间内，所有做智算中心运营的公司，一定要想到自己的退出方式，或者是否有长租约，例如三年租约锁死租金价格，否则可能无法收回成本。比如250万人民币一台H800来算，假设按照4年平均折旧，250万除以4再除以12就是硬性的成本，还要再加上组网的费用，但现在H800的租赁价格，有的公司报价66000人民币一个月就可以租到，以这样的逻辑来说，GPU租赁的毛利就不像23年那么高。现在整个市场英伟达的卡还是不太缺，在全球范围内，英伟达芯片的租赁价格一直在下降，不是所有的公司都像云厂商一样有议价权，很多小的资源池为了资金成本的回笼可能就会选择低价租出去，先保证稳定的现金流。现在GPU租赁市场的情况就可以映射到明年，当终端的业务需求没有那么旺盛的情况下，国产信创的智算中心的定向需求也基本被满足，真正需要去看下游需求的情况下，整个下游的模型的训练和推理还是会有一定量存在，但不确定这些量会分给哪些国产卡。因此，今年的需求问题不大，包括像昆仑在手的订单就很多，所以只要能做出来就一定能消化掉。但是明年的需求情况可能需要重点关注几个指标：第一个是已经建好的数据中心的出租的比例和价格，以及租出去的卡的GPU的利用率是多少，是不是在空跑没有业务；第二个指标是各家模型公司业务端上量的情况。所以明年对于寒武纪的压力最大的问题在于下游客户现在有没有pipeline或者明确的资源池。
匿名投资者：寒武纪590的价格是多少？
专家：公司能拿到的价格是8-9万人民币，标价可能11-12万人民币。
匿名投资者：不同代工厂版本的价格是否不同？
专家：性能肯定不同，但价格不确定，现在还没有看到三星和国产版本的报价，应该会有差别，但差别不大。
匿名投资者：海光的产品型号是什么？
专家：目前在测的是K100-AI，后面会入库测试的是E100
匿名投资者：这两个产品有什么区别？
专家：K100和K100-AI应该是二代卡（深算二号），推理为主；E100按照定义逻辑应该是深算三号。
匿名投资者：字节在采购寒武纪和昇腾上如何侧重？
专家：综合考虑供应和价格以及算子适配情况，还会多家公司比对，没有明显的侧重指标。
匿名投资者：从性能的角度，目前几款国产GPU的排序是怎样？
专家：如果不考虑690、深算四、910C这些，从现在的纸面参数来说，由于是基于三星和HBM的全套方案，在单卡中是最好的，然后E100和590可能是同级别，910B的供应链稳定，再往下是A800，然后所有的卡都没有超过H100。
匿名投资者：如果从集群的综合性能来讲，排序是怎么样的？
专家：集群角度不清楚没数据。因为不会用他们来做训练，看集群性能的意义也不大。
匿名投资者：寒武纪集群测试情况，集群是测的多少张卡，和昇腾集群性能的对比。
专家：应该是要测千卡，这个月底开始测，下个月出结果。但是这仅供参考意义不大，不会用于训练，非要比对的话，有可能590好一点，但现在没数据，要等下个月。
匿名投资者：寒武纪/海光/昇腾/昆仑这几家后续竞争力，需要担心软件生态的问题吗？
专家：软件生态是老生常谈的问题，现在担心也没有什么意义。软件生态设备兼容性这一块来讲不是特别大的一个门槛，它是阶段性的一个瓶颈，取决于想不想做。性价比或者排序的问题现在还很难说，到最后感觉大家的同质化反而会比较严重，卡的算力差别不大，现阶段也不是充分竞争的市场，可能还是定向支持的问题。如果是定向投喂的市场，竞争可能不会很激烈。然后今年最核心的就是供应问题；明年是下单需求，哪一家公司能够在下游拿到更多公司的青睐和认可。现在看来昇腾还是值得期待的，现在很多大厂对910B的选择比较多，大家已经付出了沉没成本。
匿名投资者：字节25年推理+训练总需求，大概多少张卡？
专家：具体的量不清楚，现在还没有预估，猜的话可能跟今年差不多。
匿名投资者：相比今年增加50-60%的可能性大吗？
专家：不一定。要等年底看多模态和市场反馈这一侧是否有大量上量，如果有的话，可能还会更激进，没有的话就不好说。
匿名投资者：字节后续会做万亿以上的模型吗？
专家：目前没计划。可能要等OpenAI的情况。
匿名投资者：请教690与910C的进度，在年底可以出来吗？
专家：910C有可能，690没戏。
