BigQuery加载作业[无效]遇到太多错误

最后发布: 2014-06-06 15:40:52


问题

我正在尝试使用BigQuery Api C#SDK将数据插入BigQuery。

我使用Json Newline Delimited数据创建了一个新Job。 当我使用时:

  • 100行输入:可以
  • 250行输入:可以
  • 500行输入:KO
  • 2500行:KO

    遇到的错误是:

    “”状态“:{”状态“:”完成“,” errorResult“:{”原因“:”无效“,”消息“:”遇到太多错误。限制为:0。“ },“错误”:[{“原因”:“ internalError”,“位置”:“文件:0”,“消息”:“意外。请重试。” },{“原因”:“无效”,“消息”:“遇到太多错误。限制为:0。” }]}

当我使用带有命令的Bq工具时,该文件运行良好:

  • bq加载--source_format = NEWLINE_DELIMITED_JSON数据集。数据表pathToJsonFile

在服务器端或当我传输文件时,似乎有些问题,但是我们无法获得比“内部服务器错误”更多的日志

有人对此有更多信息吗?

谢谢

google-bigquery
回答

“意外。请重试。” 可能表明您提供的文件内容包含意外字符,或者可能意味着发生了意外的内部服务器状况。 有几个问题可能有助于阐明这一点:

  • 无论您重试多少次,这种情况都会持续发生吗?

  • 这是否直接取决于文件中的行,还是可以构造一个不会触发错误条件的简单上传文件?

可能避免这些问题的一种选择是发送带有高于零的configuration.load.maxBadRecords的加载作业请求。

随时发表评论,提供更多信息,我也许可以更新此答案。