2020年，GPT-3和AlphaFold 2的突破性成就，以Transformer为基础，深刻影响了我们的生活。那么，2021年又将带来哪些令人瞩目的AI创新呢？在这一年的开端，我们可以预见到几个关键领域将迎来新的进展。

首先，在处理动态图的情况下，尽管大多数现有的研究都假设了静态图，但这种情况正在发生变化。在社交网络中，新成员的加入会产生新的节点，而关系也会随时间而改变。2020年，我们已经看到了一些尝试将时间演化图建模为一系列快照的做法，而在2021年，这个研究方向有望进一步发展，并专注于将动态图表模型转换为连续时间序列。

其次，对消息传递范式的改进也是一个值得期待的进展。消息传递是实现图神经网络的一种常用方法，它通过沿着连接邻居的边“传递”信息来聚集节点信息。不过，这种方法难以捕捉到需要信息在图上长距离传播的情况。在2021年，我们期待能够推动这一范式，比如通过迭代学习哪些信息传播路径是最相关的，以及学习一个全新的关系数据集中的因果关系。

此外，还有一点值得关注，那就是AI技术在实际应用中的扩展。在2021年，有望看到更多基于机器学习模型默认运行于边缘设备上的应用程序，如谷歌Coral等具有TPU（Tensor Processing Unit）的设备。这不仅节省了带宽，而且减少了执行时间，对医疗保健等领域至关重要。此外，在一些需要隐私、安全和低延迟的地方，即使是在无法访问高速互联网的地方，也有可能使用边缘计算打开这些区域。

总之，无论未来如何发展，伴随着AI技术不断深入各个领域以及Transformer和GNN技术的进步，我相信我们都能期待并享受这充满惊喜的一年的旅程。