一度にHDFSとAWS S3の両方にデータを保存する必要があります。私は以下のコマンドを使用しましたが、最初に指定されたパスのみが機能しています。
sqoop import -D mapreduce.job.name=XXX-D mapred.job.queue.name=XX -Dhadoop.security.credential.provider.path=<path> -Dfs.s3a.server-side-encryption-algorithm=####--options-file <path> --query "select cols from DB.Table where UPDATETIME between to_date('2015-09-11 00:00:00','yyyy/mm/dd hh24:mi:ss') and to_date('2018-05-24 04:28:16','yyyy/mm/dd hh24:mi:ss') and \$CONDITIONS" --hive-delims-replacement ' ' --direct --m 1 --split-by ID --target-dir <S3 path> --target-dir <hdfs path>
回答 1 件
関連記事
- コマンドプロンプトを使用してpython38-32用のflaskをインストールするにはどうすればよいですか？
- jsonファイルとcurlコマンドを使用してからelasticsearchインデックスにデータをインポートします
- axiosを使用してlaravelで機能しない削除コマンド
- Nodejsでaxiosを使用した複数のgetリクエスト
- 柔軟性を維持するために、幅のフレーム修飾子を使用せずに、複数列リストの1列を同じ幅にする方法
- RxJs forkJoinを使用して、複数のAPI呼び出しを単一の出力配列にマージします
- ステンシルマスキングを使用して複数のオブジェクトをマスクする方法
- ループを使用せずに複数回印刷するにはどうすればよいですか？
- すべてに対して1つの確認のみでrmを使用して複数のファイルを削除しますか（rm -i）？
- 複数のフラグメントでのRoomデータベースの使用
関連した質問
- Sqoop：例外エラーtoolImportTool：インポートに失敗しました：javanetUnknownHostException：ホスト：ホスト：インポート中の不明なエラー
- cronジョブエラー：「sqoopコマンドが見つかりません」
- Sqoopでゼロ値を処理する
- Sqoopのimport-all-tableが機能していません
- Sqoop Hcatalogインポートジョブは完了しましたが、データがテーブルにありません
- セミコロンを含むsqoopパスワード
- デフォルトのsqoopハイブのインポート先ディレクトリはどこですか？制御可能ですか？
- ハイブからmysqlへのsqoopエクスポートデータの使用ClassNotFoundException： class
- mysqlからHiveインポートまでのすべてのテーブルをsqoop
Sqoopは複数のターゲットをサポートしていません。 2段階のアプローチを試すことができます。
DBからのSqoopインポートHDFSへHDFSからのdistcpAmazon S3へ