【Hackathon 7th No.41】NO.41 为 Paddle 代码转换工具新增 API 转换规则（第 8 组） #495

decade-afk · 2024-10-14T14:36:15Z

PR Docs

PR APIs

torch.distributed.rpc.remote
torch.distributed.optim.DistributedOptimizer
torch.distributions.chi2.Chi2
torch.is_inference
torch.distributions.poisson.Poisson
torch.distributions.transforms.PositiveDefiniteTransform
torch.distributions.studentT.StudentT
torch.distributions.lkj_cholesky.LKJCholesky
torch.distributions.constraints.Constraint
torch.distributions.gamma.Gamma
torch.Tensor.random_
torch.Tensor.is_inference
torch.Tensor.geometric_
torch.Tensor.cauchy_

paddle-bot · 2024-10-14T14:36:21Z

Thanks for your contribution!

decade-afk · 2024-10-14T16:05:05Z

请问这是我哪里写错了吗，我是参考的上面的那个matcher写的，然后我在本地测试是通过的

decade-afk · 2024-10-14T16:07:04Z

而且GPU那个测试还是通过的

decade-afk · 2024-10-15T03:06:54Z

这个好像不能显示指定from关键字

decade-afk · 2024-10-15T04:50:12Z

你好，我发现写了辅助函数后，ci里面并不能检测到，但是我在本地是可以跑通的，请问这是怎么回事？ @luotao1

zhwesky2010 · 2024-10-16T03:43:43Z

写了辅助函数的单测需要加一个 is_aux_api=True

zhwesky2010 · 2024-10-17T04:29:45Z

paconvert/api_matcher.py

@@ -751,6 +751,147 @@ def get_paddle_nodes(self, args, kwargs):
        for i in range(1, len(new_args)):
            code = "{}({}, {})".format(self.get_paddle_api(), code, new_args[i])
        return ast.parse(code).body
+
+
+class StudentTMatcher(BaseMatcher):


这里是什么差异，需要重写Matcher。我也没有在映射文档中看到任何描述这两个API的差异，不能直接对上用GenericMatcher吗？

就是paddle输入的参数需要都是tensor或者float

就是paddle输入的参数需要都是tensor或者float

paddle是什么样的不重要，你要先看torch是什么样，再看paddle的处理方案。

这里我还是看不出两者的差异，你的映射文档写得不清楚，用户一眼看不出应如何转写

zhwesky2010 · 2024-10-17T04:33:11Z

paconvert/api_matcher.py

+                    shape_list = list(range(x.ndim))
+                    shape_list[-1], shape_list[-2] = shape_list[-2], shape_list[-1]
+                    y = x.transpose(perm=shape_list)
+                    return x @ y


return x @ x.T 就行吧

zhwesky2010 · 2024-10-17T04:33:50Z

paconvert/api_matcher.py

+                    x = x.tril(-1) + x.diagonal(axis1=-2, axis2=-1).exp().diag_embed()
+                    shape_list = list(range(x.ndim))
+                    shape_list[-1], shape_list[-2] = shape_list[-2], shape_list[-1]
+                    y = x.transpose(perm=shape_list)


这个用x.T就行

zhwesky2010 · 2024-10-17T04:35:23Z

paconvert/api_matcher.py

+        return API_TEMPLATE
+
+
+class LKJCholeskyMatcher(BaseMatcher):


这里是什么差异，需要重写Matcher。我也没有在映射文档中看到任何描述这两个API的差异，不能直接对上用GenericMatcher吗？

有，输出的维度不一样，需要补上一个

zhwesky2010 · 2024-10-17T04:38:07Z

paconvert/api_matcher.py

+
+
+class Is_InferenceMatcher(BaseMatcher):
+    def generate_aux_code(self):


这个应该不需要辅助函数吧：

torch.is_inference(x) -> x.stop_gradient x.is_inference() -> x.stop_gradient

也不需要not吧，两者都为True时对应不需要梯度计算

没错没错

没错没错

那你文档又为啥还是not的？

zhwesky2010 · 2024-10-17T04:38:47Z

paconvert/api_matcher.py

+        return code
+
+
+class DistributionsConstrainMatcher(BaseMatcher):


这里是什么差异，需要重写Matcher。我也没有在映射文档中看到任何描述这两个API的差异，不能直接对上用GenericMatcher吗？

差异是一个是__call__，一个用的是call，是为了封装

差异是一个是__call__，一个用的是call，是为了封装

你在文档里需要写清楚差异

zhwesky2010 · 2024-10-17T04:39:31Z

tests/test_Tensor_cauchy_.py

+        """
+        import torch
+        input = torch.tensor([-0.6341, -1.4208, -1.0900,  0.5826])
+        result = input.cauchy_(median=0, sigma=1)


测一个case：全部不指定关键字？

test_case2就是全都不指定关键字的

zhwesky2010 · 2024-10-17T04:40:00Z

tests/test_Tensor_random_.py

+        """
+        import torch
+        input = torch.tensor([-0.6341, -1.4208, -1.0900,  0.5826])
+        result = input.random_(0, to=5, generator=None)


测一个case：全部指定关键字？关键字乱序？

from关键字不能显式指定，我在本地也不行

from关键字不能显式指定，我在本地也不行

这个from关键字确定吗？这个应该会触发错误，这个是python的关键字

decade-afk · 2024-10-17T14:50:03Z

**torch.distributed.optim.DistributedOptimizer(optimizer_class, params_rref, *args, kwargs)
这个好像转写不了，优化器需要的优化参数在pytorch里面是一个远程引用（RRef）列表，里面的rref类型代表优化参数，但是paddle里面是要直接获取优化参数

zhwesky2010 · 2024-10-21T03:54:46Z

**torch.distributed.optim.DistributedOptimizer(optimizer_class, params_rref, *args, kwargs) 这个好像转写不了，优化器需要的优化参数在pytorch里面是一个远程引用（RRef）列表，里面的rref类型代表优化参数，但是paddle里面是要直接获取优化参数

那这个映射是不是有问题？

zhwesky2010 · 2024-10-21T03:55:48Z

@decade-afk 目前问题挺多的，你的映射文档和Matcher是很多diff对不齐的。先写清楚映射文档，再写Matcher，并保证两者是完全一致无diff的。

decade-afk · 2024-10-21T07:27:05Z

**torch.distributed.optim.DistributedOptimizer(optimizer_class, params_rref, *args, kwargs) 这个好像转写不了，优化器需要的优化参数在pytorch里面是一个远程引用（RRef）列表，里面的rref类型代表优化参数，但是paddle里面是要直接获取优化参数

那这个映射是不是有问题？

是指那里，他们功能是一样的，就是参数类型不对，那个docs文档还没有改

decade-afk · 2024-10-21T08:59:25Z

已经改了，请review
@zhwesky2010

zhwesky2010 · 2024-10-22T07:33:54Z

paconvert/api_matcher.py

@@ -5067,6 +5194,36 @@ def generate_code(self, kwargs):
        return code


+class RpcRemoteMatcher(BaseMatcher):


我没有看出来为什么需要重写Matcher。

因为rpc_async使用to_wait获取值，这个我改改文档

zhwesky2010 · 2024-10-22T07:36:26Z

paconvert/api_matcher.py

+        return code
+
+
+class DistributionsConstrainMatcher(BaseMatcher):


我没有看出来为什么需要重写Matcher？

即使重写，为何需要先定义一个func，在func里再包一个class，这不是多此一举吗？你包这两层的意义呢，直接定义一个class不更简洁吗

不包装一下，直接调用check会报错

zhwesky2010 · 2024-10-22T07:36:35Z

paconvert/api_matcher.py

+    def generate_aux_code(self):
+        API_TEMPLATE = textwrap.dedent(
+            """
+            import paddle


你用func包class，包这两层的意义呢，直接定义一个class不更简洁吗

zhwesky2010 · 2024-10-22T07:37:20Z

paconvert/api_matcher.py

+        API_TEMPLATE = textwrap.dedent(
+            """
+            import paddle
+            def StudentT_Aux_Func(df, loc, scale):


你用func包class，包这两层的意义呢，直接定一个class不更简洁吗

已经改好了，docs那里也同步修改了。

zhwesky2010 · 2024-10-22T09:16:58Z

paconvert/api_matcher.py

+        API_TEMPLATE = textwrap.dedent(
+            """
+            remote_obj = paddle.distributed.rpc.rpc_async({})
+            paddle_aux.rpc_remote(remote_obj)


都已经用上辅助函数了，建议直接写成一行。

remote_obj = paddle.distributed.rpc.rpc_async({}) 你直接放上面就行

decade-afk · 2024-10-22T10:08:48Z

好的好的，已经修改了，ci也跑通了的，请review

zhwesky2010

LGTM

add is_inference

16ca6c7

decade-afk added 2 commits October 14, 2024 22:48

update

91de87b

update

e035d2d

paddle-bot bot added the contributor External developers label Oct 14, 2024

decade-afk added 5 commits October 15, 2024 09:26

update

29b37e1

add geometric_

492a2e9

add cauchy_

8063b46

add random_

702f3b3

update

97acd4b

luotao1 mentioned this pull request Oct 15, 2024

【Hackathon 7th】开源贡献个人挑战赛 PaddlePaddle/Paddle#68244

Open

decade-afk added 2 commits October 15, 2024 12:22

update

cc89b26

add chi2

05cf0be

decade-afk added 6 commits October 15, 2024 12:51

add Constraint

a972b1c

add Gamma

f4aa1d1

update

f2e7ddb

add Poisson LKJCholesky

329b4b2

update

870d76d

add StudentT PositiveDefiniteTransform

411edfd

decade-afk mentioned this pull request Oct 15, 2024

【Hackathon 7th No.41】NO.41 为 Paddle 代码转换工具新增 API 转换规则（第 8 组） PaddlePaddle/docs#6887

Merged

decade-afk added 5 commits October 16, 2024 12:09

update

54a14ef

update

9d1787d

add remote

92da59f

add remote

271be5d

add remote

60b6724

decade-afk added 3 commits October 16, 2024 18:44

update

6db5c8e

update

a743e69

update

082eca9

luotao1 assigned luotao1 and zhwesky2010 Oct 16, 2024

luotao1 mentioned this pull request Oct 16, 2024

【Hackathon 7th No.38】为 Paddle 代码转换工具新增 API 转换规则（第5组） #496

Merged

decade-afk added 2 commits October 16, 2024 21:53

update

6212cd9

update

890793e

zhwesky2010 reviewed Oct 17, 2024

View reviewed changes

decade-afk added 4 commits October 17, 2024 13:38

update

e486474

update

0c741fe

update

eca644c

add DistributedOptimizer

1ebbedc

update

d60ebc6

decade-afk added 3 commits October 21, 2024 15:32

update

4af9f36

update

3e2e385

update

ecb389d

zhwesky2010 reviewed Oct 22, 2024

View reviewed changes

upadte api_matcher

cc0062e

decade-afk force-pushed the distributions_new branch from 73af39d to cc0062e Compare October 22, 2024 08:02

zhwesky2010 reviewed Oct 22, 2024

View reviewed changes

update

55139a7

zhwesky2010 approved these changes Oct 22, 2024

View reviewed changes

zhwesky2010 merged commit 616434d into PaddlePaddle:master Oct 22, 2024
7 checks passed



		class Is_InferenceMatcher(BaseMatcher):
		def generate_aux_code(self):

		return code


		class DistributionsConstrainMatcher(BaseMatcher):

		@@ -5067,6 +5194,36 @@ def generate_code(self, kwargs):
		return code


		class RpcRemoteMatcher(BaseMatcher):

【Hackathon 7th No.41】NO.41 为 Paddle 代码转换工具新增 API 转换规则（第 8 组） #495

【Hackathon 7th No.41】NO.41 为 Paddle 代码转换工具新增 API 转换规则（第 8 组） #495

Conversation

decade-afk commented Oct 14, 2024 • edited Loading

PR Docs

PR APIs

paddle-bot bot commented Oct 14, 2024

decade-afk commented Oct 14, 2024

decade-afk commented Oct 14, 2024

decade-afk commented Oct 15, 2024

decade-afk commented Oct 15, 2024 • edited Loading

zhwesky2010 commented Oct 16, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

decade-afk commented Oct 17, 2024

zhwesky2010 commented Oct 21, 2024

zhwesky2010 commented Oct 21, 2024

decade-afk commented Oct 21, 2024

decade-afk commented Oct 21, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

zhwesky2010 Oct 22, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

decade-afk Oct 22, 2024 • edited Loading

Choose a reason for hiding this comment

zhwesky2010 Oct 22, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

decade-afk commented Oct 22, 2024

zhwesky2010 left a comment

Choose a reason for hiding this comment

decade-afk commented Oct 14, 2024 •

edited

Loading

decade-afk commented Oct 15, 2024 •

edited

Loading

zhwesky2010 Oct 22, 2024 •

edited

Loading

decade-afk Oct 22, 2024 •

edited

Loading

zhwesky2010 Oct 22, 2024 •

edited

Loading